自從2012年AlexNet在一臺雙路GTX 580的PC上完成訓(xùn)練、發(fā)布論文并震驚世界以來，基于以CUDA為代表的GPGPU工具棧的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)不斷發(fā)展，如今已經(jīng)成為包括ChatGPT在內(nèi)的一眾LLM等AI應(yīng)用的基石。而作為AI算力的先驅(qū)者，NVIDIA的GeForce游戲GPU自從GeForce RTX 20系加入用于加速神經(jīng)網(wǎng)絡(luò)的Tensor Core以來更是在AI加速應(yīng)用的道路上猛踩油門。從最早僅僅是降低實際渲染分辨率的DLSS深度學(xué)習(xí)超級采樣技術(shù)，到如今全套的AI PC技術(shù)棧，NVIDIA RTX AI技術(shù)正在將AI推進到個人電腦的方方面面。

      2024年7月11日，NVIDIA在上海召開了GeForce RTX 40系列媒體品鑒會，分享了NVIDIA RTX AI技術(shù)如何賦能更先進的RTX AI PC的諸多細(xì)節(jié)。根據(jù)官方提供的數(shù)據(jù)，目前RTX AI PC裝機量已突破1億臺，各大OEM還提供了超過兩百款RTX AI筆記本電腦可供玩家選購。同時，已經(jīng)有超過500款游戲和應(yīng)用已經(jīng)支持了RTX AI加速，同時還能夠為用戶提供從200-1300 AI TOPS的強大RTX AI大算力，實現(xiàn)相當(dāng)可觀的AI性能釋放。

      在會場上，我們看到了來自多家不同廠商的筆記本電腦與RTX AI PC，囊括了各種品類，十分豐富。

DLSS：次世代圖形技術(shù)就在指尖

      自從DLSS技術(shù)首次在GeForce RTX 20系 GPU上與玩家見面以來，這項基于深度學(xué)習(xí)超級采樣的技術(shù)就廣受玩家好評，而到了GeForce RTX 40系GPU又推出基于AI加速的DLSS 3幀生成技術(shù)更是進一步提高了PC游戲的性能表現(xiàn)。目前，支持NVIDIA DLSS技術(shù)的游戲已經(jīng)突破400款，且數(shù)量還在不斷增加；支持DLSS 3幀生成技術(shù)的游戲也突破了90款。

      在本次GeForce RTX 40系媒體品鑒會，NVIDIA也分享了幾款支持這些最新圖形技術(shù)的游戲，例如來自騰訊的《三角洲行動》是一款設(shè)定在2035年的第一人稱特戰(zhàn)干員戰(zhàn)術(shù)射擊游戲。支持跨端免費游玩。擁有25年歷史的經(jīng)典射擊鼻祖再次回歸，這一次行動難度升級。這款游戲支持光線追蹤反射、NVIDIA DLSS 3幀生成技術(shù)與NVIDIA Reflex低延遲技術(shù)，能夠獲得最佳的電競游玩體驗。

      從NVIDIA官方提供的截圖中，我們可以看到開啟光線追蹤后游戲的畫面相當(dāng)精美，無論是步槍上瞄準(zhǔn)鏡目鏡對身后世界的反射還是面前油罐倒地殘油散落在地面上的反光都栩栩如生?？梢哉f，對于這樣一款復(fù)雜的競技游戲來說，光線追蹤技術(shù)顯著增強了游戲的沉浸感。

      除了《三角洲行動》之外，本次一并展出的還有《鳴潮》、《解限機》、《漫威爭鋒》等多款支持DLSS 3技術(shù)的游戲作品。

NVIDIA App：AI濾鏡與統(tǒng)一控制中心

      自從GeForce Experience推出以來，這套工具與NVIDIA驅(qū)動控制面板之間在定位和功能上的沖突讓玩家們左右為難。好在，隨著NVIDIA App的推出，許多困擾玩家的問題自然就迎刃而解了。在NVIDIA App里玩家無需登入即可更新驅(qū)動、優(yōu)化游戲與應(yīng)用性能、通過錄像工具捕捉精彩時刻之外，本次GeForce RTX 40系媒體品鑒會還展示了兩個基于AI的內(nèi)置游戲濾鏡，RTX 動態(tài)亮麗與RTX HDR。前者可以通過AI算法提升畫面的視覺清晰度，讓玩家在每款游戲中都能更好地區(qū)分游戲內(nèi)元素；后者則可以將SDR游戲升格成HDR游戲，只需要使用兼容HDR的顯示器就能夠?qū)崿F(xiàn)艷麗的HDR視覺效果，對于老游戲愛好者來說能夠帶來相當(dāng)出色的體驗。

ChatRTX：用戶自己的本地LLM工具

      現(xiàn)在各種大語言模型工具已經(jīng)不是新鮮事了，但ChatRTX的特色在于它能夠?qū)⒂行Ю媚汶娔X上的個人資料當(dāng)作數(shù)據(jù)集，從你的資料中進行搜索并回答問題。它基于NVIDIA TensorRT-LLM技術(shù)，將生成式 AI 功能引入 RTX AI PC。用戶可快速輕松地將個人電腦上的資料當(dāng)成數(shù)據(jù)集，連接到ChatGLM這一類開源大語言模型，以便快速查詢、生成個性化的內(nèi)容。此外，ChatRTX的所有大語言模型都在本地運行，完全不上網(wǎng)，這意味著像我們這樣經(jīng)常會處理需要簽署保密協(xié)議的資料的用戶也可以放心地查詢自己的資料，讓ChatRTX快速提供安全的回復(fù)，能夠帶來極大的效率提升。

NVIDIA ACE：NPC真的在跟你交互

      無論是像《輻射》、《殺出重圍》、《賽博朋克2077》這樣的開放世界游戲還是像《使命召喚》、《榮譽勛章》這樣的線性游戲，也無論是像普萊斯隊長、杰克這樣的重要劇情人物還是你在路上看到的NPC或小兵，傳統(tǒng)游戲開發(fā)范式都要求開發(fā)者針對每個角色編寫對應(yīng)的臺本、錄音并進行動畫優(yōu)化，這極大地拖慢了開發(fā)者的開發(fā)效率，但又是為了創(chuàng)造一個高度真實可信、具有沉浸感的世界所必不可少的。盡管如此，這樣手動編寫所有對話的方式也必然不可能創(chuàng)建出真正具有靈魂的NPC，無論是玩家角色的發(fā)問還是NPC的回答都完全可預(yù)期，如果在UI設(shè)計或配音/動畫方面再固步自封一點，自然就會指向如《輻射4》這樣的社區(qū)笑柄。因此，隨著AI技術(shù)的發(fā)展，NVIDIA ACE這樣利用生成式 AI 讓數(shù)字人、NPC 和交互式虛擬形象栩栩如生的技術(shù)自然就應(yīng)運而生。

      本次GeForce RTX 40系媒體品鑒會中展示的Covert Protocol 是由 Inworld AI 與 NVIDIA 合作創(chuàng)建的一項技術(shù)演示，它突破了 NPC 交互的界限。該技術(shù)演示使用 Inworld 的 AI 引擎，該引擎集成了 Riva 自動語音識別功能，可實現(xiàn)準(zhǔn)確的語音轉(zhuǎn)文本，并集成了 NVIDIA Audio2Face 以提供逼真的面部動畫。玩家需要扮演一個私家偵探，與三個具有不同個性、動機與背景的NPC互動，并從他們手中獲取目標(biāo)的房間號以推進劇情。NVIDIA ACE和Inworld AI引擎能夠使玩家與NPC進行完全動態(tài)的交互，整個故事的敘事完全由玩家選擇驅(qū)動，并能夠被可交互的環(huán)境對象影響。開發(fā)者只需要針對NPC的人設(shè)進行定制，剩下的工作就能全部交給AI，并且完全在玩家的PC上本地運行。目前，NVIDIA ACE技術(shù)已經(jīng)有來自米哈游、網(wǎng)易游戲、完美世界游戲、騰訊和育碧等國內(nèi)外游戲開發(fā)商采用，令人無比期待未來的開放世界/沉浸式模擬游戲能夠帶來怎樣的沉浸感。

G-Assist項目：真的能幫你干活的實時AI助手

      在2017年的愚人節(jié)，NVIDIA官宣了一項叫做GTX G-Assist的AI助手，這個U盤形態(tài)的小東西能夠通過AI算法在《彩虹六號：圍攻》等電競游戲里模擬玩家操作讓玩家能去應(yīng)快遞、在《黑暗之魂3》中通過參考玩家操作精準(zhǔn)拿下BOSS，或幫助玩家在關(guān)鍵時刻點外賣以確保游戲打完剛好外賣送到。當(dāng)然，這只是一個愚人節(jié)段子，但隨著G-Assist項目的正式發(fā)布，似乎我們離這個段子越來越近了。這項技術(shù)Demo能夠通過AI助手實時增強游戲與應(yīng)用的使用體驗，基于對游戲環(huán)境的感知，根據(jù)玩家的游戲進程提供針對性的回復(fù)。同時，玩家也可以使用G-Assist項目去了解機器現(xiàn)在的運行狀態(tài)，幫助玩家去優(yōu)化設(shè)置。盡管目前這項技術(shù)還僅僅處于Demo階段，但NVIDIA已經(jīng)在著手為開發(fā)者提供在游戲與應(yīng)用中部署這些AI助手的工具包和框架，相信在不遠(yuǎn)的將來我們就能夠看到它在實際應(yīng)用中的表現(xiàn)了。

      目前，NVIDIA官方視頻給出的演示基于《方舟：生存飛升》游戲。這款基于虛幻5引擎打造的游戲是《方舟：生存進化》的續(xù)作，玩家需要在滿是恐龍的世界里設(shè)法生存下去。開放世界+低指引的特性讓玩家在剛進入游戲時難免一頭霧水，此時G-Assist項目就能幫上大忙。例如，玩家可以向G-Assist項目詢問是否應(yīng)躲避屏幕上出現(xiàn)的恐龍，或采用不同的方法來控制特定的猛獸、根據(jù)玩家現(xiàn)在的狀態(tài)建議下一步的操作，或指向更多的相關(guān)資料。

      另外一個基于《賽博朋克2077》游戲的Demo展示了G-Assist項目如何幫助玩家實現(xiàn)性能調(diào)優(yōu)。在這款圖形技術(shù)高度先進且性能要求較高的游戲中，G-Assist項目可以幫助玩家跟蹤幀率、用電量、PC 延遲和其他硬件統(tǒng)計數(shù)據(jù)，并繪制相應(yīng)圖表。當(dāng)玩家輸入相關(guān)提示時，它還能就如何改善這些指標(biāo)提出建議。

      除了簡單的建議之外，G-Assist項目還能夠幫用戶智能地尋找提高能效比的方式，例如在保持目標(biāo)幀率的同時動態(tài)降低 GPU 的電壓。例如，在這個演示中，G-Assist項目將GPU的電壓從1075mV降低到875mV，整體功耗從272W降低到173W，提升幅度就很顯著。當(dāng)然，在具體使用中的幅度仍然需要視GPU本身芯片體質(zhì)、游戲負(fù)載等因素考量。

      除此之外，G-Assist項目還能夠幫助玩家進一步優(yōu)化系統(tǒng)配置，例如掃描用戶系統(tǒng)，查看是否有任何異常情況，比如沒有充分利用顯示器的分辨率、刷新率或其他功能，包括 HDR 和 G-SYNC。當(dāng)然，作為一個AI助手，G-Assist項目也能夠回答玩家的各種問題，說明各項設(shè)置的用途及其對性能的預(yù)期影響。例如，它可以解釋 DLAA 與 DLSS 的區(qū)別，或者解釋 NVIDIA 控制面板中的“超低延遲模式”與 NVIDIA Reflex 游戲內(nèi)選項之間的差異。

RTX Video：實時AI視頻增強，觀影體驗更上一層樓

      除了G-Assist項目之外，RTX Video技術(shù)也在本次的GeForce RTX 40系媒體品鑒會中占據(jù)相當(dāng)大的篇幅。除了我們之前已經(jīng)介紹過的RTX視頻超分辨率（RTX VSR）技術(shù)之外，RTX Video這套完整的AI視頻增強技術(shù)棧還包含了RTX Video HDR這項自動HDR技術(shù)，能夠?qū)DR規(guī)格的視頻內(nèi)容通過AI計算轉(zhuǎn)換成HDR10標(biāo)準(zhǔn)的高動態(tài)范圍視頻，能夠顯著增強視覺效果，讓畫面更加鮮艷生動。目前，除了在Google Chrome、Microsoft Edge、Mozilia Firefox三款主流瀏覽器與VideoLAN VLC視頻播放器中體驗由RTX Video帶來的4K HDR視覺體驗，還能夠在萬興喵影與DaVinci Resolve兩款熱門視頻創(chuàng)作工具中使用RTX Video將SDR視頻項目直接轉(zhuǎn)換成HDR視頻進行剪輯，方便用戶創(chuàng)作更精美的視頻項目。

NVIDIA Studio：全AI創(chuàng)意工作流

      本次GeForce RTX 40系媒體品鑒會中，NVIDIA還請來了著名的特效UP主特效小哥008帶來一部由生成式AI 輔助制作的特效短片《特效小哥大戰(zhàn)系列之大戰(zhàn)河野華》。從使用ComfyUI這個全球第二大、同時也是增長最快的，基于Stable Diffusion的AI應(yīng)用制作的高質(zhì)量貼圖到TripoSR實現(xiàn)的3D模型，生成式AI顯著提升了整個特效短片的前期資產(chǎn)制作效率。而在渲染中，使用RTX GPU利用NVIDIA OptiX加速的Blender Cycles渲染器能夠在在AI計算下少量采樣的前提下，為建模和動畫提供實時的交互式、照片級寫實的降噪畫面效果，可以說是目前Blender平臺最佳的渲染后端了。除了上述的這些應(yīng)用之外，NVIDIA Studio加速生態(tài)還超過120款創(chuàng)意軟件，讓創(chuàng)作者如虎添翼，像特效小哥一樣輕松應(yīng)對AI創(chuàng)意挑戰(zhàn)。

      除了特效視頻之外，本次品鑒會還有另一個應(yīng)用了AI加速的展示：超人（SuperHero）Demo。它同樣使用ComfyUI進行。通過NVIDIA RTX GPU上的CUDA生態(tài)與TensorRT加速，配合InstantID、IPAdapter和ControlNet等一系列細(xì)節(jié)控制技術(shù)，這套工作流能夠從攝像頭捕捉用戶形象，并根據(jù)參考圖像和提示詞實時生成高清超級英雄形象。對于創(chuàng)意工作者，尤其是角色設(shè)計、服裝設(shè)計等領(lǐng)域的工作者來說來說，只需修改幾個參數(shù)就能夠生成多樣化的參考設(shè)計，帶來無限可能。

總結(jié)

      從這次GeForce RTX 40系媒體品鑒會展示的諸多AI加速項目演示來看，基于NVIDIA RTX GPU的AI PC應(yīng)用生態(tài)體系已經(jīng)相當(dāng)完備。無論是游戲玩家使用DLSS增強游戲畫面表現(xiàn)與性能表現(xiàn)，還是影視觀眾與創(chuàng)作者使用RTV Video實現(xiàn)觀影與創(chuàng)作體驗的實時進化；無論是用于在浩如煙海的個人資料庫中快速找到對應(yīng)的信息的ChatRTX還是即將上線的G-Assist項目；無論是能方便用戶更新驅(qū)動、性能調(diào)優(yōu)的NVIDIA App還是全套基于AI實現(xiàn)的NVIDIA Studio創(chuàng)意工作流，NVIDIA在加速計算上十年如一日的投入帶來的這套堪稱全場景覆蓋的AI PC應(yīng)用生態(tài)體系，搭配完善的文檔與開發(fā)者支持體系可以說在行業(yè)內(nèi)無人能敵。同時，一億臺的RTX AI PC裝機量搭配超過兩百款市售RTX AI筆記本電腦與更多合作伙伴推出的RTX AI PC產(chǎn)品讓RTX AI PC體系也在不斷吸引更多的用戶與開發(fā)者進入。盡管AGI目前仍然是科幻作家與研究者心目中的圣杯，但對于想在今天就把AI技術(shù)引入工作生活的人們來說，NVIDIA RTX AI PC平臺仍然是最好的選擇，甚至?xí)嵏材銓鹘y(tǒng)PC的老舊認(rèn)知。