Родился 18 апреля 1920 года в деревне Аполихе ныне Купинского района Новосибирской области в семье крестьянина. Русский.

Окончил с отличием Новосельскую семилетнюю школу. Работал в мастерской машинно-тракторной станции учеником слесаря, затем слесарем.

В январе 1943 года был призван в армию Купинским райвоенкоматом. На фронте с сентября 1943 года, участвовал в форсировании Днепра и освобождении Украины от фашистских войск.

В ночь на 23 сентября 1943 года в составе стрелкового взвода гвардии красноармеец Ершов одним из первых преодолел реку Днепр у села Глебовка (Вышгородский район Киевской области). Еще во время движения по реке лодки и плоты батальона столкнулись с пароходом противника, шедшим по течению. Гвардейцы обстреляли пароход из всех видов оружия, а высадившись на берег, штурмом захватили причалившее рядом судно.

Красноармеец Ершов в этом бою, появляясь в самых опасных местах, уничтожил до двух десятков гитлеровцев, был ранен, но отказался вернуться на восточный берег. На рассвете начались бои за расширение плацдарма. И здесь вновь отличился Ершов. Только в схватке за село Ясногородка того же района он лично уничтожил до 20 немецких солдат и офицеров.

Указом Президиума Верховного Совета от 17 октября 1943 года стрелку 212-го гвардейского стрелкового полка (75-я гвардейская стрелковая дивизия, 60-я армия, Центральный фронт) Ершову Алексею Ивановичу было присвоено звание Героя Советского Союза.

11 января 1944 года во время неудачной разведки боем в районе деревни Корени (Домоновического, ныне Светлогорского района Гомельской области, Белоруссия), когда под сильным огнем противника гвардейцы залегли в снегу на открытом поле, Ершов первым поднялся в атаку, увлекая за собой бойцов. Погиб в этом бою.

Похоронен на поле боя в братской могиле.

Награжден орденом Ленина.

9 мая 1965 года на могиле Героя был установлен бюст. В честь Героя названы улицы в г. Купино Новосибирской области и Светлогорске Гомельской области. Его имя присвоено детскому лагерю отдыха на озере Яркуль в Купинском районе. В Новосибирске имя Героя Советского Союза Алексея Ивановича Ершова увековечено на Аллее Героев у Монумента Славы.

Татьяна Владимировна Носова, библиограф МБУ «ЦБС Купинского района».