6月26日，科大訊飛（002230）語(yǔ)音合成技術(shù)迎來(lái)全新升級，一句話(huà)聲音復刻與超擬人合成兩大核心能力實(shí)現突破。專(zhuān)業(yè)測評數據顯示，公司一句話(huà)聲音復刻技術(shù)在相似度、準確度等維度處于行業(yè)領(lǐng)先水平。

　　科大訊飛研究院院長(cháng)劉聰表示：“我們希望聲音不止于工具，更成為承載情感與個(gè)性的新維度，賦能更多場(chǎng)景行業(yè)、催生更多可能�！�

　　2024年4月，訊飛星火APP上線(xiàn)“一句話(huà)聲音復刻”功能，廣受用戶(hù)好評。本次技術(shù)突破，除星火語(yǔ)音大模型底座的基礎和持續迭代外，還構建了一套三階段層次化語(yǔ)音建�？蚣埽菏紫韧ㄟ^(guò)星火底座大模型精確捕捉發(fā)音規律和韻律特征；其次，在音色恢復階段解耦并重構聲學(xué)特征；最后，通過(guò)高精度聲碼器恢復高保真波形。

　　據悉，在智能語(yǔ)音領(lǐng)域，聲音復刻效果的核心指標圍繞相似度與準確度兩大維度展開(kāi)。相似度決定“第一耳印象”，包含音色特質(zhì)及風(fēng)格韻味；準確度則關(guān)乎聲音復刻是否好用，確保發(fā)音標準、停頓自然、語(yǔ)氣連貫。

　　本次科大訊飛在聲音復刻場(chǎng)景針對性進(jìn)行兩項關(guān)鍵技術(shù)的嘗試與突破，一是音色編碼增強，即在聲學(xué)模型中創(chuàng )新性地融合全局聲紋嵌入與局部幀級音色編碼，提取細粒度音色特征，并構建聲紋空間語(yǔ)義一致性損失函數，顯著(zhù)提升音色恢復的相似度；二是強化學(xué)習，通過(guò)語(yǔ)音魯棒性評價(jià)模型和人工標注構建偏好數據集，采用基于DPO的強化學(xué)習策略，大幅提升合成語(yǔ)音的穩定性和自然流暢度。

　　從曾經(jīng)要錄上數十個(gè)小時(shí)的語(yǔ)音素材，到錄入幾段話(huà)，再到現在僅用一句話(huà)就能復刻聲音，語(yǔ)音合成技術(shù)一直在向更快、更好、更易用的方向進(jìn)階。業(yè)內人士表示，一句話(huà)復刻技術(shù)的突破，顯著(zhù)降低了應用門(mén)檻，在A(yíng)I賦能千行百業(yè)的大背景下，讓更多的場(chǎng)景和行業(yè)衍生出更多的個(gè)性化需求。

　　值得一提的是，在需要深入交流的場(chǎng)景里，僅有相似音色并不足夠�？拼笥嶏w本次突破的超擬人合成技術(shù)，重點(diǎn)是賦予AI聲音以“上下文情商”。通過(guò)研發(fā)上下文感知的語(yǔ)音生成系統，融合歷史文本及對應音頻特征，實(shí)現跨模態(tài)編碼器分析上下文，讓AI聲音能像真人一般敏銳響應情緒轉變和話(huà)題轉換，整體自然度接近真人水平。

　　當前，科大訊飛AI語(yǔ)音技術(shù)已在各行各業(yè)落地生根，其中智能座艙領(lǐng)域應用成果最為顯著(zhù)。今年初，蔚來(lái)在“Banyan 榕 3.1.0版本”中為NOMI助手引入的超擬人情感音色，正源于科大訊飛的深度賦能，搭載該技術(shù)的蔚來(lái)新車(chē)型（如ET9、新ES6/EC6/ET5系列等），成為行業(yè)首款應用AI生成式語(yǔ)音合成框架的車(chē)型。除蔚來(lái)外，奇瑞、廣汽、長(cháng)城、日產(chǎn)、本田等主流車(chē)企均選擇了訊飛超擬人技術(shù)。

　　其他行業(yè)方面，星火語(yǔ)音大模型技術(shù)底座已服務(wù)全國5萬(wàn)余所學(xué)校、600家醫院及眾多金融機構。

　　在教育領(lǐng)域，星火大模型賦能的AI學(xué)習機已能像真人教師般開(kāi)展多輪對話(huà)診斷學(xué)情，為學(xué)生定制個(gè)性化學(xué)習路徑；在數字內容創(chuàng )作領(lǐng)域，訊飛智作平臺的超擬人數字人技術(shù)實(shí)現“一張照片+一句話(huà)錄音”定制專(zhuān)屬虛擬人，該技術(shù)已幫助天津大學(xué)教師打造慕課個(gè)人IP，簡(jiǎn)化教學(xué)視頻制作流程；在醫療領(lǐng)域，搭載情感合成技術(shù)的導診機器人使用方言與老年患者交流時(shí)，對話(huà)自然度提升200%。