當前位置: 首頁 > 案例展館 > 技術創新類 >

XR技術賦能媒體(tǐ)深度融合

聯系人:傅靜琴 評選項目:技術創新類


(點擊圖片可浏覽并觀看案例展示)
 

  随着5G、雲計算、人工(gōng)智能、數字孿生(shēng)、VR/XR等信息技術快速發展,高科技成爲媒體(tǐ)融合的發動機和加速器。電視媒體(tǐ)通用型技術平台和技術架構起步較晚,在媒體(tǐ)融合的實際工(gōng)作中(zhōng),新技術運用往往也落後于互聯網平台,嚴重制約了媒體(tǐ)融合的進展,影響了媒體(tǐ)融合的效果。

  武漢廣播電視台以先進技術爲支撐、以優質内容爲根本,深化廣播電視與新一(yī)代信息技術的融合創新,推動傳統技術布局向“5G+4K/8K+AI”的戰略格局轉變,建成一(yī)個超清化、移動化、智能化的新一(yī)代“智慧廣電”技術體(tǐ)系,積極布局5G、VR、XR等超高清技術結合下(xià)的沉浸式視頻(pín)應用場景。從VR直播再到XR虛拟演播室,有序推進,不斷進行媒體(tǐ)融合深度探索。

  其中(zhōng)XR虛拟演播室技術的試點應用是“融合+”新技術體(tǐ)系中(zhōng)重要一(yī)環。XR“Extended Reality”作爲一(yī)個全新的技術,可實現實時三維渲染,呈現全沉浸、更爲逼真的視覺效果,爲影視制作帶來無限可能。X既代表了拓展“Xtended”,又(yòu)代表了未知(zhī)變量(x)。它包含了虛拟現實(VR),增強現實(AR)以及混合現實(MR)等概念。XR技術可謂是内容産業在表現力及創新性上的一(yī)場革命。

  一(yī)、XR工(gōng)作原理

  武漢廣播電視台在現有的280全媒體(tǐ)演播廳内搭建了3M×3M×3M的XR虛拟演播區。用LED地屏及牆屏搭建标準的三面舞台,再加上攝像機追蹤、渲染引擎生(shēng)成最終畫面。

  通過LED屏幕替代傳統綠幕,利用XR技術,不需要摳圖、摳像,直接渲染合成,主持人隻要站在XR虛拟演播區的地屏上,通過LED顯示、三維渲染、實時拍攝和空間跟蹤定位技術,真實人物(wù)與虛拟場景就可以完美融合。觀衆在攝影機畫面前,就如同看裸眼3D的效果,能看到XR構建的逼真場景裏,主持人和場景間‘沉浸式’互動,完成虛拟世界與現實世界無縫轉換,仿佛身臨其境。

  技術原理上XR涵蓋了實現虛拟現實、混合現實、增強現實、影像現實和其他現實的硬件、軟件、方法和體(tǐ)驗,能夠将物(wù)理世界與數字媒體(tǐ)融爲一(yī)體(tǐ),創造出真實世界的虛拟感覺以及虛拟世界中(zhōng)的真實感覺。其技術框架包括由LED顯示屏組成的拍攝場地、攝像機、物(wù)體(tǐ)位置追蹤與定位技術、實時圖形渲染引擎(AR技術)等幾大(dà)元素組成,最後将組合的内容傳輸顯示屏幕前,就成爲炫酷的逼真的XR場景。

  XR場景的實現,首先将虛拟環境傳輸至現場的LED顯示屏,采用物(wù)體(tǐ)位置追蹤與定位技術對物(wù)體(tǐ)進行跟蹤拍攝,并将素材傳回至實時渲染引擎。與此同時,用本地化運行邏輯運算進行人物(wù)手勢分(fēn)析及圖形渲染,輸出立體(tǐ)的逼真的AR内容與拍攝素材交互呈現,而在屏幕前呈現的内容就是XR場景。簡單的說,XR場景就是基于現實場景,與後台炫酷的AR内容進行結合交互而來的,具有非常強的視覺沖擊力和沉浸感,不僅爲拍攝帶來便利,同時也爲觀衆呈現裸眼3D的效果。

  在XR虛拟制作中(zhōng),可以劃分(fēn)成MR和AR兩個層面。

  MR層面的工(gōng)作流程:首先通過快速且精準的攝像機追蹤系統,以極低的延遲爲代價,在虛拟系統中(zhōng)完整模拟真實攝像機的實時位姿和鏡頭參數,并将這些信息傳遞給渲染引擎,從而計算出正确的畫面并回傳。與此同時,LED屏幕可以将大(dà)部分(fēn)拍攝内容顯示在背景上,将畫面以正确的透視關系呈現出來,并且和真實世界的人物(wù)和事物(wù)疊加在一(yī)起進行拍攝。

  AR層面的内容,以同樣的方式,疊加在整個畫面的最前層,從而實現“現實層”,也就是剛才提到的真實人物(wù)和事物(wù),同時疊加LED,也就是MR中(zhōng)的“後景”, 以及AR中(zhōng)的“前景”的效果。并組合成完整的畫面。

  以一(yī)幀畫面的生(shēng)成爲例,流程如下(xià):

  1. 攝像機追蹤:把攝像機的各個參數回傳到大(dà)屏及虛拟渲染引擎。

  2. 大(dà)屏渲染引擎收到這一(yī)幀畫面以後,由于系統内部已經有了LED的精準模型,會根據攝像機的透視關系,把MR的部分(fēn)輸出給LED屏幕。

  3. LED屏幕顯示出經過透視映射後的這一(yī)幀畫面之後,真實的攝像機會拍攝到“連同屏幕區域内的人物(wù)和事物(wù)”的一(yī)幀畫面,并把拍攝的一(yī)幀發送回虛拟引擎。

  4. 虛拟引擎收到了拍攝的這一(yī)幀,形成一(yī)整幀16:9的畫面。同時再在上面貼合AR畫面,并最終輸出。

  5. 這一(yī)整幀畫面終于呈現在團隊和觀衆眼前。

  通過XR技術實現了虛拟場景的快速切換,同時可以實時修改、調整場景内容,大(dà)大(dà)提高了換景、改景的效率,降低了制作成本以及提高制作效率。

  二、XR技術優勢

  1、現場可視化

  傳統的虛拟制作往往會産生(shēng)現場人與人、人與AR 元素交互不自然的問題,給觀看者帶來動作生(shēng)硬虛假的印象,現場的觀衆更是無法直接看到虛拟場景,給現場直播、錄制虛拟環節帶來很大(dà)的困擾,這也正是全景360°XR 技術通過LED 屏幕實時呈現動态虛拟元素及場景所要解決的主要問題。

  對觀衆來說,他們能夠在節目錄制現場非常直觀地看到這些變化的、神奇的虛拟場景,從而更好地感受台上演員(yuán)結合環境的表演所表達的内容和情緒,也有助于形成台上台下(xià)的良好互動;對主持人、演員(yuán)等表演嘉賓來說,他們在可視化的環境空間内直面周邊背景元素的實時變化,從而靈活、自如地走位,與身邊的元素進行互動,輕松完成表演;對節目制作團隊來說,嘉賓的表演能與周邊環境實時融合呈現,不僅有助于導演創意的現場展現,而且方便創作團隊對表演形式進行實時修改。

  2、節省置景成本

  XR 技術的應用不僅意味着節目不再需要綠幕或者藍(lán)箱的虛拟演播室就能完成虛拟環節的錄制,而且大(dà)大(dà)縮減了傳統節目舞台搭建、道具制作等置景規模,現場隻要部署XR 制作系統,就能通過虛拟制作和LED 屏幕呈現創造出千變萬化的深度沉浸式的空間環境。

  3、提升後期制作效率

  傳統通過綠幕或者藍(lán)箱進行摳像的虛拟制作方式往往需要在後期制作環節對摳像細節、燈光效果等模塊進行大(dà)量的調整、修複工(gōng)作,而XR 技術因其LED屏幕的成像特點能夠實時将人物(wù)和環境空間以自然、真實光源環境進行合成,從而縮減了後期制作時間,極大(dà)提升了節目生(shēng)産效率。

  三、XR應用場景

  通過充滿想象張力的XR場景構建,能夠在有限的空間内呈現出無限的空間感,極大(dà)提高的舞台設計的創作空間,拓展了媒體(tǐ)融合新應用和新場景落地。在未來,武漢廣播電視台拟在大(dà)型活動和各項專題活動中(zhōng)推動XR技術的應用,提升畫面的科技感和真實感,也驅動傳統電視節目制作形式的創新和融合。

  1、大(dà)型活動、演唱(chàng)會XR應用

  受疫情反複影響,大(dà)型演出活動和演唱(chàng)會因爲大(dà)規模人群聚集無法舉辦的時候,可以利用XR虛拟演播室,舉辦線上演出活動。

  比如運用XR技術,打造出一(yī)個“異空間”,将虛拟場景與活動音樂中(zhōng)的情緒相結合。演出者置身在虛拟世界中(zhōng),随着歌曲表露的情緒來控制虛拟場景的變化,讓觀衆能夠更多地産生(shēng)共情,從而沉浸在表演中(zhōng)。

  同時XR虛拟演播室,可以在有限的空間,營造出無限空間的舞台。利用XR技術打造出豐富的場景與人物(wù)進行交互,前景與背景搭配層次分(fēn)明。通過攝像機的推拉搖移,營造出一(yī)個自然而有強烈沉浸感的無限舞台。

  通過各種創意場景,重現震撼視效,将科技舞台美感極緻升華,豐富節目舞台的表現層次,實現跨空間的奇妙互動,給觀衆耳目一(yī)新的視聽(tīng)體(tǐ)驗。

  2、專題欄目XR應用

  XR虛拟演播室,可以根據各類節目在虛拟視覺、節目内容等方面的需求,結合XR 技術的特點和優勢,設計相應的3D虛拟三維空間。

  中(zhōng)景爲現場主持人畫面,前景爲AR 元素的全方位立體(tǐ)化的電視端畫面呈現,打造了一(yī)個無限延展的三維立體(tǐ)空間。

  太空科普類欄目中(zhōng),設計一(yī)個三維立體(tǐ)的宇宙空間,主持人漫步太空,信手解說。宇宙空間根據主持人的解說,相應的變化,形象生(shēng)動。

  軍事題材類欄目,設計一(yī)個蘊含軍事元素的三維立體(tǐ)的演播室。演播室右側模拟落地窗,實時呈現戰地城市風貌,營造現場演播室的錯覺。中(zhōng)間爲背景大(dà)屏,展示特定戰鬥畫面或者軍事裝備。大(dà)屏四周鑲嵌若幹小(xiǎo)屏,循環播放(fàng)軍事元素的畫面,烘托緊張、刺激的氛圍。解說過程中(zhōng),坦克從屏幕中(zhōng)央行駛到演播室,讓觀衆仿佛身臨其境。

  在少兒類欄目中(zhōng),設計一(yī)個顔色鮮豔,風格活潑三維遊樂園。主持人、小(xiǎo)朋友以及三維卡通人物(wù),在模拟遊樂園,做遊戲、唱(chàng)歌、跳舞。

  3D虛拟場景質量越高,越趨于真實,最後呈現的視頻(pín)作品也越逼真,也越受觀衆的歡迎,也會帶來越來越多的沉浸式舞台設計需求,這也是科技的發展爲電視節目制作所帶來的新變革。

  四、XR前景展望

  從VR、AR、MR到XR,擴展現實技術推動了媒體(tǐ)内容創作的演進,帶來了深遠的變革。當前元宇宙概念成功“出圈”,而XR既是元宇宙當前發展的首要基建,也是元宇宙未來持續發展的動能。XR技術的引入模糊了電影、廣播電視、社交媒體(tǐ)等産品邊界,大(dà)家的創作過程和流程開(kāi)始接近。以技術融合爲先導,XR推動了創作融合、制作工(gōng)藝融合、産品融合、業态融合,是媒體(tǐ)深度融合的必經之路。

  我(wǒ)台已将XR工(gōng)作流程與廣電行業節目生(shēng)産的工(gōng)作流程成功結合,在演播室制作現場構建了無實體(tǐ)景别、無色鍵摳像、實時場景渲染的整體(tǐ)流程。現階段XR賦能媒體(tǐ)融合仍然處于起步階段,随着XR、AI、5G、邊緣計算、雲渲染等技術深入融合,XR新聞、XR直播、3D虛拟主播、新聞數字藏品等現象級應用逐漸落地,媒體(tǐ)行業将發生(shēng)深刻變革。未來,通過虛拟技術衍生(shēng)的科技産品,也将與XR 場景融合進而提升交互與呈現的真實度,同時接入大(dà)數據系統平台的多類型數據,擴展融合制作形态覆蓋範圍。

  信息革命方興未艾,傳播技術日新月異,融合發展任重道遠。武漢廣播電視台将發揮在視音頻(pín)内容創意、生(shēng)産、制作和傳播方面的豐富資(zī)源和天然優勢,以文化創意爲牽引,以科技創新爲支撐,緊緊抓住信息化機遇,推動5G+4K、8G+AI、AR+XR等技術與媒體(tǐ)應用的緊密結合,培育孵化媒體(tǐ)融合下(xià)的新技術、新應用、新産品、新模式、新業态和新消費(fèi),豐富各類媒體(tǐ)應用場景,全方位賦能廣電産業化發展,加快構建融爲一(yī)體(tǐ)、合而爲一(yī)的全媒體(tǐ)傳播格局。