正在愛奇藝熱播的首個虛擬現實游戲闖關真人秀《元音大冒險》，將一眾炫酷科技帶到了真人秀的節目制作中，讓嘉賓得以登上虛擬世界——元音大陸，開啟了一場奇趣爆笑的闖關冒險之旅，也為觀眾帶來了全新的觀綜體驗。
驍龍作為《元音大冒險》節目的特約元宇宙技術伙伴，將自身在AI、影像、XR、音頻、無線連接等構建元宇宙所必需的基礎技術創新深度應用于節目之中，讓嘉賓和節目觀眾領略到了元宇宙的樂趣。
下面讓我們跟隨《元音大冒險》節目的總導演，以及在本次節目制作中與驍龍緊密配合的伙伴們，共同為大家揭秘這一大膽創新的綜藝形式幕后的科技故事。
問：節目創作的靈感來源是什么？節目中有哪些新的科技和嘗試？
《元音大冒險》節目總導演 陳偉：其實整個節目從2020年就開始策劃。我們看到未來互聯網將會向虛擬互聯網方向發展，虛擬現實、增強現實等技術也將越來越走進大眾。
那么我們未來的生活、娛樂體驗將會變成什么樣子？我們覺得想再多都沒有用，不如去用一檔綜藝真人秀節目來替大家嘗試這個全新的體驗，于是我們就策劃了《元音大冒險》這一虛擬現實游戲闖關節目。
《元音大冒險》運用到了非常多在傳統節目制作當中從未涉及的技術，包括動作和面部捕捉技術、動畫合成和渲染技術、虛擬現實技術等等。將虛擬制作作為最主要的制作手段，打造一個完全非腳本的真人秀節目是一次極具挑戰的嘗試。
動作捕捉是國內外電影制作經常使用的技術。說到虛擬制作，我曾經跟我的團隊講過，動作捕捉的靈魂其實是面捕。即便我們的動作捕捉再精準，節目設計再有趣，都需要第一時間準確地通過人的表情特寫來表達情感，這對影視創作非常重要。
真人秀創作是沒有腳本的，需要實時記錄真實發生的事情，這帶來了極大的技術挑戰。如果系統中途出現故障，節目制作就失敗了，真人秀是無法重拍的。所有的技術處理，需要能夠滿足一天十幾、二十個小時不間斷的多人多機位動態錄制，這是檢驗技術成熟度、可靠性和性能的極大挑戰。
我們的技術合作伙伴一一驍龍和驍龍的小伙伴們，經受住了這個前所未有的考驗，這讓我們感到非常自豪。相信我們在這次節目制作中使用的創新技術和制作方式，能夠為未來的綜藝節目制作和消費者的虛擬體驗積累經驗。我們也希望我們的冒險精神，能讓更多人擁抱未來的創新和未知。
問：驍龍的炫酷科技在節目中發揮了哪些作用？
高通產品市場總監 劉曉光:《元音大冒險》的節目制作需要對嘉賓的面部和動作數據進行實時捕捉處理，并要做到高度精準，以打造栩栩如生的畫面效果，滿足節目的專業需求。此外，節目嘉賓需要佩戴面捕設備完成很多高難度動作，這對面捕設備的舒適度和便攜度也提出了很高的要求。
以往電影制作中使用的面捕技術方案通常設備昂貴，且不適合用于實時處理。我們針對《元音大冒險》節目的需求，與技術合作伙伴一起進行專業優化，首次在綜藝節目中利用搭載驍龍8系移動平臺的Android旗艦手機實現了高精度實時AI面捕，不僅生成精準的面捕數據，運行也非常穩定高效，且支持長時間佩戴，十分便攜。
想要在智能手機上精確高效地追蹤和識別人類表情，需要手機芯片平臺強大的底層算力以及神經網絡算法支撐。驍龍8系移動平臺搭載高通AI引警，具備行業領先的終端側AI性能和能效比，可以支持基于300個人臉特征點的檢測。
我們充分利用了高通AI引警中專有的神經網絡硬件加速單元，以支持高精度、低功耗的實時面部數據采。驍龍強大的終端側AI性能和能效為這次突破性的虛擬現實真人秀節目制作提供了非常有力的支持和保障，也極大地降低了制作節目的技術門檻和成本。
另一個跟元宇宙息息相關的技術就是XR。搭載驍龍XR平臺的奇遇VR設備，作為登錄元音大陸的入口讓觀眾能夠在元音大陸中自由探索，實現身臨其境的體驗。
問：據說這是相芯第一次將技術成果應用到娛樂場景，與以往的技術實現場景有什么不同？
相芯科技發言人:相芯公司以往主要是提供手機終端的底層技術，現在首次以專業方案的形式應用在娛樂綜藝節目中，有很多有趣的挑戰與突破。首先，以往的底層交付我們對接的都是技術人員，而娛樂綜藝中我們對接的是專業影視制作團隊和演員，這就要求我們的技術做得足夠簡單易用、智能穩健。
例如，藝人在唱歌時，由于話筒非常接近面部，會對面捕造成較嚴重的遮擋，我們在技術設計上也考慮到了這一點，實現了即便嘴部部分遮擋，也能穩定捕捉嘴部動作，保持虛擬形象的面部穩定性、避免出現“抽搐、抖動”等影響現場效果的情況
娛樂綜藝的現場拍攝往往需要非常長時間的連續工作，連續拍攝中為了不錯過每一個畫面，我們的面部捕捉手機會一直工作，如何避免長時間拍攝中的發熱卡頓是一個挑戰。
我們利用驍龍神經網絡處理引擎(SNPE) 軟件開發包，對我們的技術進行了全面優化，結合高通AI引警強大的底層算力和能效支持，使面部捕捉可以連續4至5小時穩定流暢地以60FPS率運行，實現精確的實時AI面捕和超過50種表情識別，為表演嘉賓帶來栩栩如生的虛擬化身。
問：XR設備被認為是用戶進入元宇宙的主要入口之一，奇遇為《元音大冒險》帶來了哪些高科技？
奇遇VR高級產品總監 王斌：奇遇是元音大陸的VR入口。節目現場觀眾需要佩戴奇遇VR設備觀看演出，我們專門為節目定制了一款觀看演出的VR應用，真實還原演出大廳，觀眾不僅可以通過它在元音世界里觀看虛擬制作的演出，獲得自己的虛擬形象化身，還能夠在大廳中與其他的觀眾互動，為演出進行投票等。
現場觀眾佩戴奇遇VR設備觀看綜藝
高通和奇遇雙方保持著長期的合作伙伴關系。過去幾年，奇遇已經推出了多款搭載驍龍平臺的XR設備。本次節目中，嘉賓佩戴的奇遇Dream Pro和奇遇MIX搭載了驍龍XR2平臺。如果沒有驍龍XR平臺的支持，想要打造完美的VR體驗其實很難。以顯示為例，屏幕如果無法達到雙目4K的水準，用戶的視覺紗窗感、顆粒感會比較嚴重。
目前只有驍龍XR2平臺能夠支持4K的屏幕顯示分辨率，同時實現90FPS的顯示刷新率。再以另一項對沉浸感影響很大的聽覺來說，驍龍平臺在音頻編解碼上的功能也很強大，可以把音效、全景聲完美的展現出來。
驍龍XR平臺賦能奇遇VR面向消費者市場不斷推出創新的VR終端，賦能了豐富的影音娛樂場景和沉浸式的VR暢玩體驗。《元音大冒險》也是雙方基于技術的發展和成熟，對于全新娛樂體驗的大膽嘗試。
商務合作
在線咨詢
試用申請