У 1908 році почали будувати школу за проектом відомого на той час у місті архітектора Михайла Ломакіна.
Будували з місцевих матеріалів. У випадку необхідності, до роботи, окрім будівельних бригад, долучалися жителі прилеглих вулиць. Допомагали і вчителі, і сам директор.
У 1909 році кошти, виділені земством, закінчилися. Тоді Іван Чиркін виділив для завершення будівництва 10 тисяч карбованців із власних заощаджень.
У 1910 році влітку новенька школа вже була готова до зустрічі з учнями. Іван Олексійович Чиркін працював у школі до 1933 року. За багаторічну працю йому присвоєно звання «Заслужений вчитель України».
У 1958 році школі було присвоєно ім’я комсомольця-підпільника Михайла Олефіренка.
У стінах школи у різні роки навчалися визначні особистості, знані не лише у нашому місті. Серед них – двічі герой Радянського Союзу Маршал Петро Кошовий, Почесні громадяни міста Олександрії Василь Гончаренко та Василь Куницький, кавалер Ордена княгині Ольги III ступеня за заслуги перед Україною Галина Держакова, підпільники Олександр Шакало, Михайло Олефіренко.
За час свого існування школа декілька разів змінювала свою назву: школа Чиркіна, середня школа №3, середня школа №4, з 1 вересня 1963 року — неповна середня школа №4.
Статусу спеціального навчального закладу для дітей із затримкою психічного розвитку школа набула порівняно недавно.18 листопада 2003 року розпорядженням міського голови С. К. Цапюка комунальний заклад ЗНЗ I-II ступенів №4 був перекваліфікований у спеціальний ЗНЗ.
1 вересня 2019 року учні Олександрійського спеціального загальноосвітнього навчального закладу №4 ім. М. Олефіренка навчаються у ЗНЗ №2 ім. М. Горького».
