Коллектив именует себя сатирической арт-коллаборацией, которая одновременно делает ставку и на музыку, и на визуальный ряд, и на шоу. Группа Little Big обыгрывает, стебётся в каждом своём треке и клипе над различными национальными стереотипами о русских. Все видеоклипы снимает сооснователь группы Алина Пязок. Благодаря тому, что у группы есть своя продакшен-компания и опыт съёмки видеороликов, все свои музыкальные видео они выпускают сами. Все видеоклипы группы отличаются гротескностью.
Группа заявила о себе 1 апреля 2013 года, выпустив своё первое видео «Every Day I’m Drinking». Уже 2 июля 2013 года в клубе «А2» они провели первое публичное выступление на разогреве у Die Antwoord. В связи с этим их сразу же окрестили «Русским Die Antwoord», и часто сравнивают с этой группой. Музыкальное подразделение журнала Vice также назвало Little Big «ответом Die Antwoord из русской психушки». Другие критики отмечают, что при этом Little Big — группа со своей собственной идентичностью: коллектив представляет слушателю свой взгляд на русские народные песни и русскую культуру.
На протяжении своего существования Little Big ездит в туры по Европе и России.
19 декабря 2015 года группа выпустила второй альбом — Funeral Rave. Он занял 8 место в чарте русского iTunes за 52-ю неделю 2015 года.
«Мы всегда были рок-музыкантами и остаёмся ими. То, что мы сейчас играем — это новая формация рок-музыки. Все наши песни имеют структуру рок-композиции, а не электронного трека. Но одновременно мы с детства любили рэйв, и совместили эти два жанра» — объяснил происхождение группы вокалист Илья Прусикин в интервью порталу Berlin Visual.
21 мая 2016 года клипы на песню Give Me Your Money и Big Dick стали лауреатами Berlin Music Video Awards 2016. Big Dick — первое место в категории Most Trashy, Give Me Your Money — третье место в номинации Best Performer. Клип Big Dick преодолел отметку в 10 миллионов просмотров. Видео наполнено сексуальными образами и подтекстом. Бэм Марджера на своём сайте отметил, что в этом видео «можно увидеть все возможности человеческой сексуальности: от техно бита до множества голых тел и дикого количества аналогий между едой и сексом».
Группа признаётся, что на неё повлияли самые разные музыканты, от Cannibal Corpse, Nirvana, RHCP, Rammstein до Моцарта и Вивальди.
«Мы просто хотим показать людям, что они владеют своими жизнями. Страны и правительства не так важны, как они думают: человек может заниматься, чем хочет», — сказал о цели группы фронтмен группы Илья Прусикин в интервью зарубежному интренет-порталу Noisey.
