布依族很早就生活在南北盤江流域。布依族來源于古代百越人的駱越一支。據史書記載，春秋戰國時期，駱越人屬牂牁國的臣民，今桂西北和黔西南即古駱越地。布依族至今仍保存古駱越人的許多生活習俗和文化特征。今縣境南盤江河谷和平樂、北鄉、花障、魯溝、龍廣、木咱等地的布依族聚居區，仍沿襲古駱越人居住的‘干欄”式建筑，即今所稱“吊腳樓”及其演變的“地樓”、“半邊樓”。布依族貴銅鼓，也是古駱越人的文化特征。布依語同駱越語相近，據宋人周去非《嶺外代答》載： 駱越人稱母親為“米囊”(Me33na：TJ2)，布依語稱母親為“乜”(Me33)；駱越人稱岳母為(ti53)，布依語稱為(ta:i53)。許多布依村寨或附近的山坡、田地名稱，均以古駱越語的委、平、洛、壩、納、浪、板、巧、岜、冗、者、央、內、打等語音為詞頭命名。

布依族的族稱，秦以前稱濮越，兩漢六朝稱濮僚，唐宋元代被稱為蠻、番；明清至民國末年被稱為仲家。自《元史》首稱“仲家”后，明清有的史籍稱布依族為“仲苗”、“仲蠻”和“古仲”，民國年間，布依族還被稱為“夷家”、“夷族”、“水家”、“水戶”、“土人”、“土邊”等。但布依族始終按照古老的族稱自稱為“濮越”(依)、“濮僚”(饒)(第一、二土語區)和“濮俚”(夷)(第三土語區)，這些自稱保留有“族”“人”的意思，含有民族自尊。新中國建立后，黨和國家尊重民族意愿，在1953年冬召開的布依族代表人士協商統一民族名稱的會議上，取消了“仲家”、“水戶”、“夷家”、“土邊”等不是布依族自稱的稱謂，根據布依族自稱的歷史，以“濮”與“布”、“越”“俚”與“依”讀音相近，統一用“布依”為本民族的族稱，正本清源，恢復了布依族族稱的本來面目。

在布依族形成過程中，各民族相互交往、融合，“你中有我，我中有你”歷史上形成民族遷徙與融合的原因，大多是由于戰爭、移民、貿易、避難等。據史志記載，自春秋戰國以來，縣境有十余次規模較大的移民，其中，北宋迄清末移民最多。明初“調北征南”、“調北填南”；清乾隆、嘉慶年間招民墾種，咸同之后開通商路等，江南、湖廣及四川等地遷來居民不少。這些移民中，有一些與當地土著通婚，而后成為布依族。