NVIDIA AR SDK為直播、視頻會(huì)議和游戲提供了全新的創(chuàng)意選擇。牙齒SDK允許開(kāi)發(fā)人員使用標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭實(shí)時(shí)跟蹤面部，并創(chuàng)建各種有趣的增強(qiáng)現(xiàn)實(shí)效果，例如將3D數(shù)字內(nèi)容疊加在面部上或添加身臨其境的效果。
NVIDIA AR SDK是公開(kāi)的測(cè)試版本，向社區(qū)開(kāi)放，支持多個(gè)茄子使用案例：
跟蹤相機(jī)視圖的臉并標(biāo)識(shí)圖像中的一個(gè)或多個(gè)主體。
在個(gè)人(如衣服和效果)中嵌套數(shù)字資產(chǎn)集。
通過(guò)面部和頭部運(yùn)動(dòng)控制動(dòng)畫角色或游戲角色。
NVIDIA AR SDK利用NVIDIA RTX顯卡的Tensor核心，通過(guò)AI網(wǎng)絡(luò)提供快速、高質(zhì)量的跟蹤性能。網(wǎng)絡(luò)可以提供準(zhǔn)確的面部跟蹤。還有面部形狀、嘴唇、眼睛、眉毛、鼻子三個(gè)自由度五官跟蹤六個(gè)自由度的高級(jí)面部網(wǎng)格(面部和頭部姿勢(shì)的3D重建)。
例如，OBS直播軟件的流行插件StreamFX發(fā)布了一個(gè)新版本，該版本使用NVIDIA AR SDK自動(dòng)裁剪和放大用戶，并創(chuàng)建在用戶移動(dòng)時(shí)保持幀中心的智能相機(jī)。
StreamFX的開(kāi)發(fā)者M(jìn)ichael Fabian 'Xaymar' Dirks表示，"StreamFX的新Face Tracking過(guò)濾器需要復(fù)雜的數(shù)學(xué)和機(jī)器學(xué)習(xí)，這原本是一系列機(jī)器，需要運(yùn)行幾個(gè)月，甚至幾年。但是，NVIDIA的AR SDK可以在短時(shí)間內(nèi)完成工作，NVENC H.264編碼器支持所有流行的NVIDIA RTX硬件。這大大減少了所需的開(kāi)發(fā)時(shí)間，最初幾年僅兩周就減少了，無(wú)需額外費(fèi)用?！?/p>
NVIDIA發(fā)布的NVIDIA CloudXR 1.0軟件開(kāi)發(fā)工具包將通過(guò)5G、Wi-Fi和其他高性能網(wǎng)絡(luò)顯著增強(qiáng)增強(qiáng)現(xiàn)實(shí)、混合現(xiàn)實(shí)和虛擬現(xiàn)實(shí)內(nèi)容(統(tǒng)稱為擴(kuò)展現(xiàn)實(shí)XR)。
隨著5G網(wǎng)絡(luò)在世界范圍內(nèi)的普及，NVIDIA CloudXR正在為許多行業(yè)帶來(lái)創(chuàng)新，包括建筑和零售業(yè)。通過(guò)從基于GPU的邊緣服務(wù)器傳輸XR體驗(yàn)，企業(yè)可以將對(duì)圖形密集型應(yīng)用程序和內(nèi)容的訪問(wèn)擴(kuò)展到移動(dòng)端，遠(yuǎn)程用戶也可以享受身臨其境的響應(yīng)能力擴(kuò)展現(xiàn)實(shí)體驗(yàn)。
據(jù)IMA咨詢報(bào)道，在傳染病發(fā)生前的2016年到2019年，我國(guó)網(wǎng)絡(luò)直播用戶規(guī)模呈逐年上升趨勢(shì)，預(yù)計(jì)2020年我國(guó)網(wǎng)絡(luò)直播用戶規(guī)模預(yù)測(cè)將達(dá)到5.24億人。展廳，游戲的直播形式，現(xiàn)在成為商家營(yíng)銷的重要方法之一。各行各業(yè)都在聞風(fēng)喪膽，移動(dòng)：化妝品、服裝、生活用品、零食。
在信息網(wǎng)絡(luò)時(shí)代，產(chǎn)業(yè)市場(chǎng)發(fā)生了巨大的變化，產(chǎn)品從傳統(tǒng)制造演變?yōu)橹悄?、互連、孔劉、個(gè)性化、體驗(yàn)化的趨勢(shì)。隨著淘寶網(wǎng)、震顫、快手等視頻直播電子企業(yè)平臺(tái)的成熟，實(shí)時(shí)互動(dòng)、現(xiàn)實(shí)主義、互動(dòng)高的直播帶場(chǎng)面越來(lái)越受到消費(fèi)者的喜愛(ài)，“萬(wàn)物可以廣播”成為現(xiàn)實(shí)，將大大改變很多行業(yè)傳統(tǒng)的營(yíng)銷模式。
隨著5G全息通信網(wǎng)帶寬條件的變化，5G全息應(yīng)用市場(chǎng)爆炸，全息交互娛樂(lè)、全息會(huì)議、全息發(fā)布會(huì)等高端應(yīng)用逐漸普及到全息社會(huì)、全息通信、全息導(dǎo)航、全息家庭應(yīng)用等領(lǐng)域。微型全息圖(WIMI .US)程序?qū)⑷I人臉識(shí)別技術(shù)和全息AI人臉替換技術(shù)作為核心技術(shù)，以多個(gè)技術(shù)創(chuàng)新系統(tǒng)支持全息云平臺(tái)服務(wù)和5G通信全息應(yīng)用。
隨著5G商用時(shí)代的到來(lái)，游戲和直播行業(yè)有了新的機(jī)會(huì)。5G的底部變化更有趣，比提高比特率和畫質(zhì)更有趣。在直播中使用超低延遲可以提高直播的交互過(guò)程，使直播內(nèi)容更有價(jià)值。
現(xiàn)在移動(dòng)互聯(lián)網(wǎng)以前所未有的態(tài)勢(shì)改變了我們的娛樂(lè)方式，這次咪咪全息圖(WIMI)。US)的AR直播系統(tǒng)通過(guò)將AR技術(shù)作為新的交互式媒體添加到直播中，很好地解決了場(chǎng)景化、交互問(wèn)題。
立體展示、全息等酷技術(shù)受到業(yè)界的關(guān)注。傳統(tǒng)的展示手法已經(jīng)給觀眾帶來(lái)了麻痹的審美疲勞，更多的企業(yè)希望通過(guò)更先進(jìn)的高科技手段展示自己的產(chǎn)品，吸引顧客的注意，提高自己的市場(chǎng)份額。
微型全息圖(WIMI .US)的AR直播優(yōu)勢(shì)很明顯，可以真實(shí)地模擬所有場(chǎng)景，了解產(chǎn)品在各種實(shí)際環(huán)境中的使用情況。能夠展示更復(fù)雜的產(chǎn)品，使觀眾更直觀地了解產(chǎn)品的內(nèi)部結(jié)構(gòu)和產(chǎn)品詳細(xì)信息。突破人員限制的同時(shí)，可以鎖定人群，進(jìn)行現(xiàn)場(chǎng)直播精密投入，宣傳力效果更加廣闊。在線交互進(jìn)一步加強(qiáng)，來(lái)賓和粉絲可以在直播期間進(jìn)行交互，并對(duì)他們的問(wèn)題進(jìn)行實(shí)時(shí)篩選。通過(guò)實(shí)時(shí)效果合成，直播結(jié)束后，可以獲得完整的完成視頻，不再需要進(jìn)行后期剪輯，第一個(gè)用于宣傳。
微型全息圖像(WIMI)。US)涵蓋了成熟視覺(jué)設(shè)計(jì)團(tuán)隊(duì)的基礎(chǔ)、深入挖掘AR直播技術(shù)、正式在線AR直播業(yè)務(wù)、豐富的自我業(yè)務(wù)結(jié)構(gòu)、為客戶提供更多服務(wù)、客戶問(wèn)題解決、多行業(yè)多領(lǐng)域。
微型全息圖(WIMI .US)AR直播系統(tǒng)簡(jiǎn)單地通過(guò)AR全息技術(shù)，讓觀眾裸著眼睛看到全息圖或場(chǎng)景的實(shí)際還原，讓他們感受身臨其境的感覺(jué)。用戶經(jīng)驗(yàn)可以用感嘆的方式描述咪咪全息圖與娛樂(lè)模式相結(jié)合。觀眾可以成為電影/舞臺(tái)的角色，介入電影。
全息直播是展示的新方式和發(fā)展方向。通過(guò)全息投影技術(shù)，參觀者不僅可以看到清晰的圖像，還可以看到全方位、多角度的立體、真實(shí)的圖像。結(jié)合現(xiàn)有的展示方式，充分展示了現(xiàn)場(chǎng)直播的內(nèi)涵、細(xì)節(jié)，進(jìn)一步刺激了接受新事物的群眾的積極性。
微型全息圖(WIMI .US)構(gòu)建了多角度拍攝實(shí)時(shí)建模系統(tǒng)：對(duì)收集對(duì)象執(zhí)行全維度圖像掃描，實(shí)時(shí)合成為立體聲模型。6度矩陣光場(chǎng)系統(tǒng)：多光綜合利用，構(gòu)建全息虛擬圖像的成像場(chǎng)。雙目視差智能增強(qiáng)系統(tǒng)：在采集過(guò)程中動(dòng)態(tài)跟蹤對(duì)象軌跡并調(diào)整光線，以保持雙目差的平衡值。多圖像動(dòng)態(tài)融合系統(tǒng)：窄空間的多維圖像廣角采集技術(shù)應(yīng)用于云視圖小型化全息堆棧倉(cāng)庫(kù)。全息圖像高速處理算法：非常快速地處理圖像信息，并確保以10GB/s的處理速度進(jìn)行渲染。隱形聚酯光學(xué)成像膜：全息成像關(guān)鍵組件可以完美地顯示全息圖像。全息虛擬人物和弦重建技術(shù)：使用人體骨骼動(dòng)態(tài)捕獲、圖像實(shí)時(shí)渲染、語(yǔ)音識(shí)別技術(shù)、聲音模擬技術(shù)來(lái)表示虛擬人。全息云平臺(tái)：復(fù)蓋了全國(guó)的圖像收集和還原，是具有數(shù)據(jù)存儲(chǔ)、圖像恢復(fù)、全息社會(huì)屬性的交互式平臺(tái)。咪咪通過(guò)上述系統(tǒng)組合構(gòu)建了支持各種在線終端和個(gè)人設(shè)備應(yīng)用的完整5G全息通信平臺(tái)，擴(kuò)展了全息社會(huì)通信、全息家庭交互、全息明星交互、全息在線教育、全息在線會(huì)議等各種主流5G全息應(yīng)用。
VR/AR是下一代信息技術(shù)融合的產(chǎn)物，科舉VR/AR產(chǎn)品由于帶寬和延遲的因素，可能導(dǎo)致渲染能力不足、交互經(jīng)驗(yàn)不足、終端移動(dòng)性差異等問(wèn)題，是抑制行業(yè)發(fā)展的最大跳板。高質(zhì)量VR/AR業(yè)務(wù)對(duì)帶寬、延遲要求很高。例如，VR需要1000Mbps以上的帶寬才能實(shí)現(xiàn)非常好的用戶環(huán)境，延遲必須低于2毫秒，AR需要大于200Mbps的帶寬和低于5毫秒的延遲。這是4G時(shí)代。
在5G時(shí)代，視頻流量將呈指數(shù)增長(zhǎng)，視頻表達(dá)已是大勢(shì)所趨。但是，當(dāng)前我國(guó)的媒體轉(zhuǎn)換和發(fā)展面臨著發(fā)展瓶頸，主要通過(guò)：低效率的視頻生產(chǎn)方式，限制現(xiàn)有媒體向媒體、智能媒體的轉(zhuǎn)換。量化的視頻制作規(guī)模使內(nèi)容審核更加復(fù)雜。
將來(lái)，AI和5G是集成到所有行業(yè)的基本功能，AI 5G的最終價(jià)值在于行業(yè)應(yīng)用程序。目前，5G技術(shù)預(yù)計(jì)在主要垂直行業(yè)的全球市場(chǎng)上達(dá)到4.3萬(wàn)億美元。那么，如何利用4.3萬(wàn)億美元的行業(yè)應(yīng)用程序，AI可能是背后的關(guān)鍵。
