來源：互聯(lián)網(wǎng)
在快速發(fā)展的人工智能領(lǐng)域，技術(shù)突破與用戶體驗提升正引領(lǐng)著語音對話模型邁向新的高度。從最初的簡單問答到如今復(fù)雜多變的對話場景，人機交互正經(jīng)歷著前所未有的深刻變革。傳統(tǒng)的訓(xùn)練數(shù)據(jù)已難以適應(yīng)當前的需求，現(xiàn)代交互要求系統(tǒng)不僅能理解語言的上下文，還需快速識別用戶的需求并作出恰當反饋。
在此背景下，晴數(shù)智慧聯(lián)合中國科學(xué)院聲學(xué)研究所，共同開源了“雙工自然對話語音數(shù)據(jù)集_中文”，為語音對話模型提供更加真實、細膩的訓(xùn)練數(shù)據(jù)。通過對每位說話者語音的獨立分析，該數(shù)據(jù)集讓語音對話模型能夠洞察對話中的上下文變化、語調(diào)起伏以及情感波動，從而生成更加自然、準確的回應(yīng)。同時，雙工分離數(shù)據(jù)讓端到端模型的構(gòu)建更為精準，反饋速度更快。
數(shù)據(jù)集描述
晴數(shù)智慧開發(fā)的多通道自然對話語音數(shù)據(jù)集，旨在解決當前語音對話模型面臨的兩大問題：一是如何在復(fù)雜對話環(huán)境中準確捕捉并區(qū)分每位說話者的語音信息；二是如何使AI模型更好地理解并適應(yīng)自然對話中的打斷、交互等動態(tài)過程。
上圖為雙工語音交互模型架構(gòu)圖。雙工語音交互模型（如 dGSLM [1]、Moshi [2]和SLIDE [3]）突破了傳統(tǒng)單工語音交互模型一問一答的僵化響應(yīng)模式，實現(xiàn)了同步聽說以及在交互過程中自然的打斷與插話。然而，這些模型的訓(xùn)練高度依賴雙工自然對話語音數(shù)據(jù)。而此類數(shù)據(jù)的稀缺，尤其是在中文領(lǐng)域，嚴重限制了上述模型的性能提升。
為解決這些問題，我們采取了創(chuàng)新的數(shù)據(jù)采集與處理策略。首先，通過獨立采集每位說話者的音軌，并單獨對每個說話人做分類標注，完整的保留了對話過程中自然的打斷，交互等過程。其次，通過將每位說話者的音頻分離，我們能夠提供更清晰、更精準的訓(xùn)練數(shù)據(jù)，使模型更專注于理解和響應(yīng)自然說話的交互過程。
為了讓大家更直觀地了解我們的多通道數(shù)據(jù)，我們特別選取了5小時的對話內(nèi)容作為本次開源數(shù)據(jù)集。本數(shù)據(jù)可以用于模型的微調(diào)或者測試使用（非商用）。
數(shù)據(jù)集優(yōu)勢與亮點
自然度：捕捉真實場景下的自然對話，確保數(shù)據(jù)的高度自然流暢；
領(lǐng)域多樣性：覆蓋多個行業(yè)與話題，滿足跨領(lǐng)域應(yīng)用需求；
地域多樣性：融入不同地域的語音特征，增強模型的泛化能力；
副語言標簽：特別標注副語言信息，如語氣、停頓等，為深度情感分析與交互體驗升級提供有力支持。
除了中文雙工對話數(shù)據(jù)開源之外，我們同樣開源了英語雙工對話數(shù)據(jù)，對英語雙工數(shù)據(jù)感興趣的朋友，歡迎通過以下鏈接下載并使用，探索更多可能～
