Каменный храм святителя Димитрия Ростовского с приделом в честь Казанской иконы Божией Матери был построен в 1813 году в слободе Николаевка, которая сейчас входит в черту города Алексеевка.
Храм сооружен в стиле классицизма, имеет впечатляющие размеры. Вход украшает треугольный фронтон, над центральной частью храма возвышается массивный световой барабан, который венчает затейливая глава с маковкой. В просторной удлиненной трапезе устроен теплый придел в честь Казанской иконы Божией Матери. Над притвором поставлена небольшая изящная колокольня.
В конце XIX века в церкви было два штатных клира и большой приход, в нем насчитывалось 1120 прихожан.
В 1930-е годы храм был закрыт и превращен в склад. Вновь стал действующим во время Великой Отечественной войны.
К 1997 году церковь обновили, кресты, купол и шпиль были позолочены. В 2006 году вокруг церкви установлена новая ограда. Храм находится под охраной государства как памятник архитектуры эпохи классицизма.