近日，天池FT-Data Ranker競(jìng)賽落下帷幕，天翼云智能邊緣事業(yè)部AI團(tuán)隊(duì)（后稱天翼云AI團(tuán)隊(duì)）憑借在大語(yǔ)言模型（LLM）訓(xùn)練數(shù)據(jù)增強(qiáng)方面的卓越研究，榮獲大語(yǔ)言模型微調(diào)數(shù)據(jù)競(jìng)賽——7B模型賽道冠軍。

　　FT-Data Ranker競(jìng)賽是一場(chǎng)面向大語(yǔ)言模型研究、以數(shù)據(jù)為中心的競(jìng)賽，吸引了包括來(lái)自北京大學(xué)、Hantec等知名高校、研究機(jī)構(gòu)、企業(yè)的近400支優(yōu)秀隊(duì)伍參賽。天翼云在激烈的角逐中脫穎而出，展現(xiàn)出強(qiáng)大的技術(shù)創(chuàng)新能力。

　　數(shù)據(jù)在大語(yǔ)言模型（LLM）的能力打造中發(fā)揮著至關(guān)重要的作用，更好地構(gòu)建和處理數(shù)據(jù)集成為大語(yǔ)言模型領(lǐng)域研究的重點(diǎn)。本次競(jìng)賽的核心在于獨(dú)立、精確地評(píng)估和提升數(shù)據(jù)集質(zhì)量，加速形成基準(zhǔn)驅(qū)動(dòng)的數(shù)據(jù)開發(fā)流程，增強(qiáng)大語(yǔ)言模型數(shù)據(jù)處理能力，提高該領(lǐng)域?qū)?shù)據(jù)質(zhì)量和數(shù)據(jù)優(yōu)化的理解能力。本次競(jìng)賽特別關(guān)注微調(diào)（Fine-tuning）階段的數(shù)據(jù)，要求參賽者對(duì)原始數(shù)據(jù)集進(jìn)行清洗、過濾和增強(qiáng)，利用新數(shù)據(jù)集對(duì)特定模型進(jìn)行微調(diào)，并在測(cè)試集上進(jìn)行性能排名。
　　面向競(jìng)賽通用選擇任務(wù)，天翼云AI團(tuán)隊(duì)自主構(gòu)建了數(shù)據(jù)處理流程，使用多個(gè)文檔去重、字符串過濾算子對(duì)低質(zhì)的大規(guī)模原始語(yǔ)料進(jìn)行處理，從而獲得高質(zhì)量的模型訓(xùn)練數(shù)據(jù)；同時(shí)，面向文本摘要任務(wù)，天翼云AI團(tuán)隊(duì)創(chuàng)新地采用范式遷移（Paradigm Transfer）和模型能力蒸餾（Distillation）的方法，在設(shè)定模型隨機(jī)性為0的前提下，利用生成式模型將原始語(yǔ)料中的問答進(jìn)行數(shù)據(jù)處理和遷移，作為摘要數(shù)據(jù)，間接擴(kuò)充訓(xùn)練數(shù)據(jù)?；谝陨戏椒ê筒呗?#xff0c;團(tuán)隊(duì)在原始語(yǔ)料基礎(chǔ)上構(gòu)建了一個(gè)內(nèi)容豐富、多樣化的任務(wù)訓(xùn)練集，幫助模型更好地學(xué)習(xí)和理解競(jìng)賽任務(wù)。該方案的創(chuàng)新性和實(shí)用性得到了評(píng)委的高度認(rèn)可。
　　本次競(jìng)賽團(tuán)隊(duì)采用的大語(yǔ)言模型訓(xùn)練數(shù)據(jù)增強(qiáng)技術(shù)，已在天翼云團(tuán)隊(duì)模型研發(fā)和生產(chǎn)業(yè)務(wù)中廣泛應(yīng)用。例如，在天翼云政務(wù)大模型“慧澤”的研發(fā)中，通過廣泛采用訓(xùn)練數(shù)據(jù)增強(qiáng)策略和算法來(lái)提升模型的各項(xiàng)能力，使得“慧澤“具備了政務(wù)知識(shí)全面、意圖理解能力強(qiáng)、應(yīng)用廣泛以及安全可靠等優(yōu)勢(shì)，可高效賦能政策咨詢、政務(wù)導(dǎo)辦、12345坐席輔助、智能辦公等場(chǎng)景，助力提升城市治理水平。
　　未來(lái)，天翼云將繼續(xù)推進(jìn)人工智能相關(guān)技術(shù)創(chuàng)新以及實(shí)踐應(yīng)用，以更加全面、智能的產(chǎn)品與服務(wù)，賦能千行百業(yè)數(shù)字化轉(zhuǎn)型。