Группа была основана в 1995 году Маркусом Тойвоненом (гитара), Саули Саволайненом (бас-гитара) и Киммо Миэттиненом (ударные). Название группы переводится с латинского языка как «меченосец» или «вооружённый мечом». В следующем году в группу в качестве вокалиста и второго гитариста был принят Яри Маенпа. В 1997 году была записана первая демка, содержащая три песни.
В 1998 году Саули и Киммо ушли из группы, их заменили Юкка-Пекка Миэттинен (младший брат Киммо, которому тогда было 14 лет), и Оливер Фокин. В 1999 году были записаны ещё две демозаписи. В 2000 году группа подписала контракт со студией Spinefarm и начала работу над своим первым альбомом «Ensiferum», который был издан в августе 2001 года. В том же году Мейю Энхо присоединилась к группе в качестве клавишника.
Продюсером группы на альбоме «Iron» стал знаменитый Флемминг Расмуссен, также сотрудничавший с группами Metallica и Blind Guardian. В 2003 году, после того, как работа над ним была закончена, Яри ушёл из группы, чтобы сконцентрироваться на работе над его собственным проектом Wintersun. Для тура с Finntroll Петри Линдроос из группы Norther заменил Яри в качестве гитариста и вокалиста и стал членом группы после тура. В декабре 2004 года из группы ушёл Юкка-Пекка и был заменён Сами Хинкка.
В феврале 2006 года они выпустили новый мини-альбом «Dragonheads». Кроме новой дорожки, он включил две переработанные демозаписи - кавер на песню Amorphis «Into Hiding» и попурри из финских народных песен «Finnish Medley».
В честь десятилетия группы в июне 2006 года вышел DVD «10th Anniversary Live». Он был записан на концерте в Хельсинки 31 декабря 2005 года.
Запись третьего студийного альбома началась в декабре 2006 года. В феврале 2007 года выходит сингл «One More Magic Potion», который попадает на вершины финских чартов. Релиз же самого альбома состоялся 20 апреля 2007 года.
В туре по России в 2008 году, в связи с болезнью Линдрооса, Сами Хинкка выступал в качестве основного вокалиста и басиста, а временно вернувшийся Юкка-Пекка Миэттинен отвечал за гитару и бэк-вокал.
Группа выпустила свой четвертый студийный альбом, From Afar, 9 сентября 2009 года на лейбле Spinefarm. Альбом был спродюсирован Nightwish, продюсером Теро Киннуненом и был смикширован Хиили Хиилесмаа. Лимитированное издание альбома включает в себя кавер на песню шведской фолк-рок-группы Nordman.
27 июня 2012 года, группа объявила дату релиза своего нового альбома, Unsung Heroes - 27 августа 2012 года.
После 13 лет, Ensiferum покинули Spinefarm Records и подписали контракт с Metal Blade Records.