Ансамбль «Кавказ» создавался в память о погибших в дни грузино-абхазской войны 1992-93 гг. сынах Абхазии и добровольцах с Северного Кавказа и Юга России за свободу и независимость нашей страны. В нем танцевали ведущие артисты Абхазии и Северного Кавказа. За прошедшие 20 лет ансамбль на профессиональном уровне представлял на многих сценах танцевальное искусство народов Кавказа – абхазского, адыгского, осетинского, чеченского, дагестанского и т.д. За годы существования «Кавказ» вписал в свою творческую биографию немало ярких страниц, он неизменно становился призером многих фестивалей, победителем творческих конкурсов.

Уже через год после создания «Кавказ» провёл первые гастроли в Турции.

В 1996 году завоевал главный приз Международного молодежного фестиваля в Волгодонске – Золотую Медаль.

Накануне 1997 года прошли успешные гастроли в республиках Северного Кавказа.

В 1999 и 2006 годах состоялись концерты в зале им. П. И. Чайковского в Москве.

В том же 1999 году он был участником международного фольклорного фестиваля европейских государств в Германии – в г.Балингене. Завоевал на 13-м Международном фестивале фольклорного танца в Турции «Бурса-99» первое место и традиционный приз «Кара-гёз». И был участником 3-го фестиваля мастеров искусств «Мир Кавказу» в Республике Адыгея.

В 2002 году прошли гастроли в городах Германии.

В 2003 году «Кавказ» участвует в праздничных концертах в Санкт-Петербурге в честь 300-летия северной столицы. В конце того же года вновь гастроли – по городам Татарстана.

Мировой артийский  комитет, Мировая Ассамблея общественного признания наградила Золотой Медалью и Дипломом, с присвоением почетного звания Лауреата «Артиады народов России 2003 года» ансамбль «Кавказ»  за мастерство, сохранение народных традиций, укрепление межнациональных и культурных отношений России и Абхазии. Затем у ансамбля были гастроли по республикам Поволжья, городам Орловской и Костромской областей.

В 2010 и 2012 годах прошли концерты перед коллективами атомных станций Российской Федерации. Выступил «Кавказ» и в Москве на праздничном концерте в честь 20-летия корпорации «Росэнергоатом».

В 2013 году «Кавказ» совершил четыре поездки по Российской Федерации: принимал участие в фестивале «Народное творчество в Российской Федерации», в Вешенском фестивале «Шолоховская весна», выезжал с концертами в Чеченскую Республику, где параллельно принял участие и занял первое место в Пятом Международном фестивале сольного танца имени Махмуда Эсамбаева, а затем, через неделю, ансамбль уехал в Челябинскую область на международный фестиваль «Синегорье».

По приглашению государственной корпорации «Росатом» ансамбль народного танца «Кавказ» Республики Абхазия вновь в 2014 году совершил гастроли по восьми российским городам. А 25 декабря 2014 года «Кавказ» выехал в Донецкую Народную Республику и дал концерт, порадовав перед Новым годом своим искусством людей, оказавшихся в состоянии войны.

В 2016 году ГУ Государственный ансамбль народного танца «Кавказ» было присвоено имя создателя Кандида Тарасовича Тарба, который ушел из жизни 1 мая 2016 года.

В 2017 году ансамбль с гастрольной программой выезжал в города Донецкой и Луганской республик, где дал 11 концертов.

Художественный руководитель ансамбля – народный артист Республики Абхазия Арвелод Тарба

 «В целом «Кавказ» укрепляет дружбу и братство между народами и странами, высоко пропагандирует искусство, как Абхазии, так и республик Северного Кавказа» - А.Т.Тарба