騰訊多媒體實(shí)驗(yàn)室 AIGC 能力助力數(shù)據(jù)萬象開啟智能剪輯大門

AIGC 正從效率、質(zhì)量、創(chuàng)意、多樣性各方面革新內(nèi)容生產(chǎn)流程，伴隨 firely、midjourney 等現(xiàn)象級(jí)的產(chǎn)品出現(xiàn)，AIGC 將逐步廣泛服務(wù)于內(nèi)容生產(chǎn)的各類場(chǎng)景與內(nèi)容生產(chǎn)者，隨著 AIGC 在內(nèi)容生產(chǎn)的需求場(chǎng)景不斷增加，騰訊多媒體實(shí)驗(yàn)室也在 AIGC 領(lǐng)域持續(xù)發(fā)力，并通過數(shù)據(jù)萬象將能力成功應(yīng)用到傳媒、社交、文娛等多個(gè)行業(yè)，逐步夯實(shí)全場(chǎng)景內(nèi)容生產(chǎn)力。

足球精彩集錦

數(shù)據(jù)萬象泛互與傳媒客戶擁有不小體量的體育視頻數(shù)據(jù)處理需求，尤其是賽事期間，足球賽事作為最受歡迎的體育賽事內(nèi)容消費(fèi)量一直居高不下，球迷對(duì)其內(nèi)容的可觀賞性要求也頗高，由于時(shí)長(zhǎng)問題，未經(jīng)剪輯的足球比賽不能直接投放到體育新聞、短視頻等場(chǎng)景用于賽事宣傳。為此，騰訊多媒體實(shí)驗(yàn)室基于自研的 AIGC 系列技術(shù)，通過騰訊云數(shù)據(jù)萬象產(chǎn)品為廣大客戶帶來足球比賽的智能剪輯能力，在沒有人工剪輯參與的情況下自動(dòng)生成賽事高光內(nèi)容。

技術(shù)介紹

數(shù)據(jù)方面，騰訊多媒體實(shí)驗(yàn)室采集了 1200 多場(chǎng)具有代表性的足球賽事并標(biāo)注了高精度的數(shù)據(jù)集。數(shù)據(jù)集覆蓋各類著名聯(lián)賽和杯賽，累計(jì) 600 多個(gè)小時(shí)。同時(shí)，騰訊多媒體實(shí)驗(yàn)室設(shè)置了 19 個(gè)關(guān)鍵事類別，針對(duì)每一段視頻準(zhǔn)確標(biāo)注出全部關(guān)鍵事件的起始點(diǎn)、結(jié)束點(diǎn)和對(duì)應(yīng)類別。關(guān)鍵事件分布如下圖，基本可以反映真實(shí)比賽的數(shù)據(jù)分布。

【數(shù)據(jù)集關(guān)鍵事件分布】

算法方面，騰訊多媒體實(shí)驗(yàn)室設(shè)計(jì)了一個(gè)基于智能拆條和進(jìn)球檢測(cè)的多模態(tài)方案來完成智能剪輯。

【多模態(tài)智能剪輯方案】

智能拆條模塊基于視頻的圖像序列和音頻信息，通過子任務(wù)抽取多模態(tài)特征，再由事件檢測(cè)模型定位各類關(guān)鍵事件。針對(duì)單幀圖像、音頻信息、圖像序列，騰訊多媒體實(shí)驗(yàn)室基于事件標(biāo)簽有監(jiān)督地訓(xùn)練了三個(gè)特征提取器，用于提取圖片、聲音、動(dòng)作等多模態(tài)特征。

事件檢測(cè)模型接受由時(shí)序卷積編碼再拼接的多模態(tài)融合特征作為輸入，評(píng)估各個(gè)時(shí)刻屬于事件開始、結(jié)束、過程的概率，并由此構(gòu)建候選區(qū)間和對(duì)應(yīng)的時(shí)序特征。候選區(qū)間評(píng)估階段利用時(shí)序特征評(píng)估對(duì)應(yīng)區(qū)間與真實(shí)事件區(qū)間的交并比，進(jìn)而實(shí)現(xiàn)事件定位。最后結(jié)合子任務(wù)階段獲取的事件標(biāo)簽以及后處理算法就可以得到準(zhǔn)確的事件拆條結(jié)果。

【事件檢測(cè)模型】

智能拆條的效果指標(biāo) mAP 達(dá)到了 82%，其中定位球和回放等事件的對(duì)應(yīng)指標(biāo)更是達(dá)到 90% 以上。

【運(yùn)動(dòng)戰(zhàn)精彩集錦示例】

進(jìn)球檢測(cè)模塊通過判斷比分變化情況來對(duì)進(jìn)球事件作補(bǔ)充。在上述方案中，進(jìn)球事件的召回率并不高，原因是騰訊多媒體實(shí)驗(yàn)室并沒有充分利用視頻里的比分信息，最直觀的解決辦法是利用比分信息幫助判斷當(dāng)前的進(jìn)球情況。在實(shí)際應(yīng)用中，進(jìn)球檢測(cè)模塊針對(duì)視頻幀序列檢測(cè)出比分牌位置，然后適當(dāng)擴(kuò)大邊緣后再做文字檢測(cè)獲取當(dāng)前幀比分?jǐn)?shù)位置，通過多幀聚類得到當(dāng)前比賽的比分?jǐn)?shù)位置，最后利用文字識(shí)別技術(shù)獲得比分序列，根據(jù)比分單邊遞增規(guī)則確認(rèn)進(jìn)球時(shí)刻。

【進(jìn)球檢測(cè)模塊】

進(jìn)球檢測(cè)模塊將進(jìn)球事件的召回率提高到 96%，提高了集錦的完整性和精彩程度。

【進(jìn)球精彩集錦示例】

在足球場(chǎng)景的智能剪輯方案中，騰訊多媒體實(shí)驗(yàn)室還新增了球星識(shí)別模塊，用于剪輯特定球星片段。該模塊通過使用人臉檢測(cè)算法定位視頻中的所有人臉，然后使用人臉識(shí)別模型編碼人臉特征，通過聚類算法得到相似人臉序列，最后在球星人臉數(shù)據(jù)庫(kù)中查找與之匹配的球星。目前騰訊多媒體實(shí)驗(yàn)室的方案可識(shí)別 500 多位人氣球星。

現(xiàn)該功能已在數(shù)據(jù)萬象多個(gè)體育客戶案例中落地，日均處理量持續(xù)攀升，大幅提升數(shù)據(jù)萬象客戶賽事周邊后期生產(chǎn)速率。

影視精彩集錦

除了體育，自研的智能剪輯還支持電視劇、動(dòng)漫等影視場(chǎng)景，可以根據(jù)用戶指定的人物、動(dòng)作、情感、關(guān)鍵詞等信息自動(dòng)生成所需集錦視頻。

以人物向?yàn)槔脩糁恍枰峁?2~3 張某個(gè)人物的照片，系統(tǒng)便可注冊(cè)對(duì)應(yīng)人物，剪輯時(shí)指定需要剪輯的角色（或列表）即可生成人物集錦。再搭配音樂卡點(diǎn)，上熱門妥妥的！

【人物向集錦】

線索集錦方面，用戶可以根據(jù)劇情內(nèi)容指定某個(gè)關(guān)鍵詞作為線索，系統(tǒng)將自動(dòng)檢索劇集中與此相關(guān)的內(nèi)容，并生成關(guān)鍵詞集錦，打造全網(wǎng)最清晰的故事線。

【線索詞集錦】

現(xiàn)該功能已獲得數(shù)據(jù)萬象體驗(yàn)館、智能工具箱、控制臺(tái)中超高點(diǎn)擊率，吸引眾多用戶關(guān)注使用，此場(chǎng)景能夠根據(jù)用戶需求靈活調(diào)整集錦所需關(guān)鍵動(dòng)作、人物等，歡迎各位用戶前往測(cè)試。

未來，騰訊多媒體實(shí)驗(yàn)室將持續(xù)投入包括智能剪輯在內(nèi)的 AIGC 核心能力建設(shè)，數(shù)據(jù)萬象負(fù)責(zé)人葉嘉梁表示道數(shù)據(jù)萬象將借助多媒體實(shí)驗(yàn)室在底層 AI 算法多年的積累和建設(shè)，結(jié)合自身對(duì)行業(yè)和業(yè)務(wù)的理解，快速上線了能夠幫助客戶業(yè)務(wù)實(shí)現(xiàn)智能內(nèi)容生產(chǎn)的能力，豐富的算法也讓業(yè)務(wù)具備更好的多樣性和靈活性。您可以前往數(shù)據(jù)萬象進(jìn)行相關(guān)能力體驗(yàn)，對(duì)存儲(chǔ)在對(duì)象存儲(chǔ) COS 上的數(shù)據(jù)進(jìn)行創(chuàng)作。數(shù)據(jù)萬象將持續(xù)攜手多媒體實(shí)驗(yàn)室為廣大客戶提供視頻自動(dòng)剪輯、智能作曲、音樂評(píng)分等更多智能化服務(wù)，提升內(nèi)容生產(chǎn)和創(chuàng)作效率。

更多演示內(nèi)容，可參見公眾號(hào)“騰訊多媒體實(shí)驗(yàn)室”。