Иван Ермолаев родился 15 октября 1907 года в деревне Большие Березицы (ныне — Шимский район Новгородской области) в крестьянской семье. Окончил семь классов. Был призван в армию в 1929 г. Солецким райвоенкоматом. В 1934 г. Иван Ермолаев окончил Ленинградское военно-политическое училище, после чего семь лет служил политруком, затем — комиссаром.

С начала Великой Отечественной войны Иван Ермолаев служил на Дальнем Востоке. Настойчиво добивался отправки на фронт. В 1943 г. окончил Высшие стрелково-тактические курсы усовершенствования командного состава пехоты «Выстрел». Во время Великой Отечественной войны Иван Алексеевич Ермолаев в действующей армии — с февраля 1943 г., командир 767-го стрелкового полка (228-я стрелковая Вознесенская дивизия, 53-я армия, 2-й Украинский фронт).

Капитан Иван Ермолаев на Юго-Западном фронте в составе 1-ой гвардейской армии участвовал в Донбасской наступательной операции, в ходе которой 228-я стрелковая дивизия 7 сентября 1943 г. форсировала реку Северский Донец в районе города Балаклея Харьковской области и с боями продвигалась вдоль правого берега реки в северо-западном направлении. В ходе этой операции в успешном выполнении приказов командования 228-й стрелковой дивизии большую роль сыграло умелое руководство боевыми операциями заместителя командира 799-го стрелкового полка по строевой части капитана Ермолаева, который беспрерывно находился в боевых порядках подразделений.

8 сентября 1943 г. капитан Иван Ермолаев находился в подразделениях полка на высоте 162,0. В это время противник из села Червоный Донец (ныне — посёлок городского типа, Балаклейский район Харьковской области) предпринял контратаку при поддержке танков на позиции полка. Капитан Ермолаев вызвал артиллерийский и миномётный огонь и, точно корректируя его, заставил противника повернуть назад. Затем поднял в атаку подразделения для преследования отходящей пехоты и выбил противника из Червоного Донца, чем обеспечил безопасность левого фланга. Награждён орденом Отечественной войны II-й степени.

С октября 1943 г. 228-я стрелковая дивизия в составе 37-й армии участвовала в наступательных операциях 2-го Украинского фронта на Кривом Роге, проводимых армией с плацдарма на правом берегу Днепра. В бою 1 ноября 1943 г. в районе села Искровка Петровского района Кировоградской области капитан Иван Алексеевич Ермолаев был тяжело ранен. После излечения вернулся в свой полк.

На 3-м Украинском фронте в составе 37-й армии участвовал в нескольких наступательных операциях и освобождении многих городов. В сентябре 1944 г. майор Иван Алексеевич был назначен командиром 767-го стрелкового полка, которым командовал также до конца войны (с начала апреля 1945 г. — в должности подполковника). Умело руководил боевыми действиями полка по захвату важного транспортного узла — города Мако (Венгрия), соединявшего Венгрию с Румынией и Югославией. Солдатам приходилось совершать 30-километровый ночной марш через леса и болота, чтобы проникнуть в тыл врага. Утром 7 октября 1944 г. полк штурмовал Мако, и к концу дня фашисты были вытеснены оттуда. В ходе боёв полк уничтожил более 1 тыс. фашистов, захватил около 500 нацистских солдат и офицеров, 2 танка, 23 орудия, 14 миномётов, 8 транспортных средств и большое количество другой военной техники и боеприпасов.

Указом Президиума Верховного Совета СССР от 24 марта 1945 г. майор Иван Ермолаев удостоен высокого звания Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».

После окончания войны продолжил службу в Советской Армии. В 1950 г. окончил курсы усовершенствования офицерского состава. Возглавлял Ляховичский окружной военный комиссариат. С июня 1954 г. по декабрь 1955 г. служил военным комиссаром Брестского объединённого городского военного комиссариата (ОГВК).

В 1955 г. в звании полковника уволен в запас. Проживал в Бресте. Организационные навыки Ивана Алексеевича пригодились при подготовке специалистов — будущих солдат Советской Армии. Он работал в Объединённом техническом училище им. Д. М. Карбышева, где обучали водителей.

Иван Алексеевич, человек принципиальный и сострадательный, пользовался уважением жителей Бреста. Активно участвовал в патриотическом воспитании, часто встречался со школьниками, трудовой и студенческой молодёжью и регулярно посещал воинские части.

За годы службы был награждён двумя орденами Ленина, двумя орденами Красного Знамени, орденом Отечественной войны I-й и II-й степеней, Красной Звездой и другими медалями.

Скончался 7 января 1993 г., похоронен на городском кладбище (Плоска, участок 26).