近日，豆包語(yǔ)音團(tuán)隊(duì)發(fā)布了“AI多人有聲劇”自動(dòng)化方案。方案支持多角色、高表現(xiàn)力的TTS(語(yǔ)音合成)演播，同時(shí)實(shí)現(xiàn)了全自動(dòng)AI后期的鏈路，從小說(shuō)文本到高質(zhì)量的多人有聲劇成品，全部由AI端到端完成。

據(jù)了解，“AI多人有聲劇”自動(dòng)化方案基于高自然度的多角色智能朗讀，配合AI后期自動(dòng)添加音樂(lè)、音效、特效， 并進(jìn)行智能混音，能夠全自動(dòng)生產(chǎn)媲美真人水準(zhǔn)的有聲劇作品。這套方案不僅使得聽(tīng)書(shū)自然度、沉浸感顯著提升，且生產(chǎn)鏈路全程無(wú)人工參與，可大幅降低制作成本、縮短制作周期，高效覆蓋更多書(shū)籍。

“AI多人有聲劇”自動(dòng)化方案支持從小說(shuō)文本到完整成品有聲劇的全自動(dòng)生產(chǎn)。該方案可以自動(dòng)進(jìn)行角色劃分，準(zhǔn)確率超過(guò)98%，同時(shí)其語(yǔ)音大模型通過(guò)對(duì)海量文本與語(yǔ)音的多模態(tài)預(yù)訓(xùn)練，原生地將文本和語(yǔ)音模態(tài)融合，引入思維鏈信息，具備強(qiáng)大的文本理解能力和語(yǔ)音演繹能力，多人演播效果發(fā)音自然、情感豐富。

此外，方案中的畫(huà)本預(yù)測(cè)模型在多角色演播音頻基礎(chǔ)上，實(shí)現(xiàn)了從小說(shuō)文本到帶有音效、人聲特效、環(huán)境音、配樂(lè)的畫(huà)本預(yù)測(cè)，在得到畫(huà)本信息之后進(jìn)行音頻召回并合成、智能動(dòng)態(tài)調(diào)整音頻參數(shù)，并結(jié)合多角色TTS最終合成“有聲劇”成品。

目前，首批通過(guò)“AI多人有聲劇”方案端到端創(chuàng)作的作品已經(jīng)在番茄小說(shuō)APP上線(xiàn)，效果超出預(yù)期，并得到書(shū)友良好反饋，為聽(tīng)書(shū)行業(yè)注入全新活力。未來(lái)，“AI多人有聲劇”方案仍將不斷升級(jí)，覆蓋更多有聲內(nèi)容，小說(shuō)更新即可讓用戶(hù)同步享受精品有聲劇。