2020驍龍技術(shù)峰會(huì)的第二天，進(jìn)一步深入解讀了高通驍龍™888 5G移動(dòng)平臺(tái)的強(qiáng)大性能，特別是其突破性的AI能力。

在去年的峰會(huì)上，我們推出了驍龍865 5G移動(dòng)平臺(tái)，全球首發(fā)搭載了第五代高通AI引擎，可支持終端側(cè)實(shí)時(shí)翻譯功能，將所有AI處理都轉(zhuǎn)移到終端側(cè)。我們還展示了在用戶最喜愛的社交媒體APP中，如何利用AI打造出又酷又好玩的濾鏡特效。

同時(shí)，我們也在助力移動(dòng)行業(yè)之外的行業(yè)變革。例如，基于AI賦能的高通機(jī)器人平臺(tái)RB5打造的機(jī)器人乒乓球系統(tǒng)，已經(jīng)被用于中國頂尖乒乓球選手的陪練。此外，我們在自動(dòng)駕駛領(lǐng)域的AI創(chuàng)新也在繼續(xù)推進(jìn)。

AI處理正變得越來越復(fù)雜，并且需要更強(qiáng)的AI處理能力。驍龍888移動(dòng)平臺(tái)正是為此而生，它搭載了功能更強(qiáng)大、架構(gòu)更先進(jìn)的第六代高通AI引擎。

第六代高通AI引擎和全新設(shè)計(jì)的高通Hexagon™處理器。

第六代高通AI引擎的核心是高通Hexagon處理器。今年我們推出了高通Hexagon™780處理器。它采用全新設(shè)計(jì)，在架構(gòu)和性能上均實(shí)現(xiàn)了多年來最大的飛躍。我們稱之為融合AI加速器架構(gòu)。在過去幾代產(chǎn)品中，我們使用了標(biāo)量、張量和向量加速器。在新一代處理器中，我們消除了加速器之間的物理間隔，將它們?nèi)诤铣梢粋€(gè)大的AI加速器上。我們還為這些加速器增加了一層專用的大容量共享內(nèi)存，可實(shí)現(xiàn)高效的數(shù)據(jù)共享和轉(zhuǎn)移。共享內(nèi)存容量比前代產(chǎn)品大了16倍，其結(jié)果就是將加速器交互時(shí)間控制在驚人的納秒級別——在某些用例中，數(shù)據(jù)交互時(shí)效的提升更是高達(dá)1000倍。

我們還對加速器本身進(jìn)行了改進(jìn)。較之前代，標(biāo)量加速器的性能提高了50%；張量加速器比驍龍865移動(dòng)平臺(tái)中的加速器快了兩倍，而高通Hexagon 向量擴(kuò)展內(nèi)核(HVX) 現(xiàn)在支持更多的數(shù)據(jù)類型。

去年發(fā)布的驍龍865 移動(dòng)平臺(tái)可實(shí)現(xiàn)每秒15萬億次的運(yùn)算，即15TOPS，性能堪稱業(yè)界翹楚。今年發(fā)布的驍龍888 移動(dòng)平臺(tái)實(shí)現(xiàn)了移動(dòng)端最高的AI算力，高達(dá)每秒26萬億次運(yùn)算。

高通擅長以超低功耗提供強(qiáng)大的性能。換句話說，我們的處理器不僅性能強(qiáng)大，并且效率極高。高通Hexagon 780處理器的每瓦特性能比上一代提高了整整三倍。

這么高的AI性能能做什么？今年，我們將展示一個(gè)用第六代Qualcomm AI引擎打造的全新AI用例：名為Tetras.AI的超級電影應(yīng)用。

借助這個(gè)應(yīng)用，你可以錄制一個(gè)電影場景或視頻，并用自己的形象代替其中的某個(gè)角色，并與里面的其他人物/角色進(jìn)行互動(dòng)。你甚至可以在開始表演和錄制之前，在預(yù)覽模式下實(shí)時(shí)看到最終效果。高通AI引擎負(fù)責(zé)運(yùn)行和加速Tetras.AI的視頻實(shí)例分割和融合算法，速度為30幀/秒，分辨率最高可達(dá)4K。

第二代高通傳感器中樞

神經(jīng)網(wǎng)絡(luò)在您的設(shè)備上24小時(shí)不間斷地隨時(shí)準(zhǔn)備運(yùn)行。這些微小的、始終在線的AI算法需要一個(gè)完全不同的硬件，這也是我們打造高通傳感器中樞的原因。

伴隨著驍龍888移動(dòng)平臺(tái)的面世，我們推出了第二代高通傳感器中樞，它比以往任何時(shí)候都更加智能。最重要的是，我們加入了始終在線的專用低功耗AI處理器，帶來令人驚嘆的5倍AI性能提升。

高通傳感器中樞提供的額外AI處理能力，可分擔(dān)通常由Hexagon處理器承擔(dān)的高達(dá)80%的工作負(fù)載，從而節(jié)省更多的功耗。高通傳感器中樞的處理功耗甚至不到1毫安（mA）。

為了讓開發(fā)人員更容易訪問高通傳感器中樞，我們與谷歌及其TensorFlow Micro框架展開合作，面向Hexagon處理器和高通傳感器中樞上的AI處理器上進(jìn)行優(yōu)化和加速。。

高通 傳感器中樞的另一個(gè)新功能是能夠收集和解讀來自所有內(nèi)核的數(shù)據(jù)，并創(chuàng)建情景感知的用例。有史以來，我們首次能夠收集5G、Wi-Fi、藍(lán)牙和位置信息的多重?cái)?shù)據(jù)流，用以創(chuàng)建更具吸引力的用例。第二代高通傳感器中樞將為明年的智能手機(jī)帶來一系列全新的始終在線和情境感知的用例。例如，我們與Audio Analytic合作開發(fā)的技術(shù)，手機(jī)現(xiàn)在可以識別你周圍的聲學(xué)場景，開啟一系列智能新功能，例如根據(jù)所處環(huán)境調(diào)整鈴聲音量。再比如，手機(jī)可以通過trinamiX應(yīng)用分析用戶的皮膚狀況，用驚人的5G能力將終端側(cè)AI和云端AI結(jié)合起來，向用戶推薦最合適的保濕產(chǎn)品。

AI軟件

到目前為止，你已經(jīng)了解了我們新處理器核心擁有多么令人難以置信AI硬件能力，但強(qiáng)大的硬件必須搭配同等強(qiáng)大的軟件才能發(fā)揮真正的威力。因此我們火力全開，加大AI軟件的開發(fā)力度。

高通技術(shù)是首個(gè)將終端側(cè)AI SDK商用化的公司。目前，高通神經(jīng)網(wǎng)絡(luò)處理SDK已在全球超過5億臺(tái)安卓終端上為出色的AI體驗(yàn)提供支持。 今年，高通神經(jīng)網(wǎng)絡(luò)處理SDK 帶來一系列改進(jìn)，包括對更多模型的支持，甚至擴(kuò)大了對搭載驍龍888平臺(tái)的筆記本電腦上Windows 10 AI用例的支持。。

我們打造了超快的高通AI引擎，以便AI應(yīng)用程序可以充分發(fā)揮出硬件加速的優(yōu)勢。在驍龍865平臺(tái)上，我們推出了Hexagon NN Direct，讓開發(fā)者可以從他們的應(yīng)用程序中直接訪問Hexagon。隨著搭載第六代高通AI引擎的驍龍888 移動(dòng)平臺(tái)的推出，我們對這一方式進(jìn)行了重大升級——即為整個(gè)移動(dòng)平臺(tái)帶來統(tǒng)一的Direct應(yīng)用程序接口的能力。

今天我們推出高通AI引擎Direct。憑借全新的第六代高通AI引擎，我們的AI軟件也正在進(jìn)入新篇章。通過這個(gè)解決方案，我們擴(kuò)展并增強(qiáng)了我們AI軟件解決方案的功能，為開發(fā)者提供了直接訪問硬件的途徑，不僅針對Hexagon 780處理器，還包括Adreno GPU和高通Kryo CPU。

高通AI引擎Direct的設(shè)計(jì)初衷就是在驍龍888上首次帶來了一個(gè)跨整個(gè)驍龍平臺(tái)的統(tǒng)一AI應(yīng)用程序接口API。此外，這個(gè)API也可以向下兼容，這將支持之前的第五代高通AI引擎。開發(fā)者和OEM廠商可以充分利用這一解決方案的優(yōu)勢，跨驍龍平臺(tái)使用第五代和第六代AI引擎。不僅如此，我們專注于模塊化和可擴(kuò)展性——擴(kuò)展我們用戶定義的算子概念，為開發(fā)者帶來新的功能，以便他們在驍龍平臺(tái)上更快創(chuàng)造出他們自己的AI解決方案。

隨著驍龍888移動(dòng)平臺(tái)的推出，我們將與自然語言處理NLP創(chuàng)新解決方案的領(lǐng)導(dǎo)者Hugging Face展開合作，利用第六代高通AI引擎的強(qiáng)大功能，在驍龍平臺(tái)上啟用并加速強(qiáng)大的NLP庫——Hugging Face transformers，實(shí)現(xiàn)出色的精確性和響應(yīng)性。想象一下：電子郵件客戶端能在打字時(shí)為你提供自動(dòng)補(bǔ)全建議，AI語音助手能更好地理解你的問題，語言翻譯應(yīng)用能夠更快更準(zhǔn)確地工作，這一切很快就能實(shí)現(xiàn)。

2019年我們引入了用戶定義算子（user defined operators）的概念，這是第五代高通AI引擎的重要組成部分。使開發(fā)人員能夠在OpenCL中或使用Hexagon軟件開發(fā)包編寫自定義算子，然后將其插入到高通神經(jīng)網(wǎng)絡(luò)處理SDK中。然而，即使是對于已經(jīng)有利用Hexagon開發(fā)經(jīng)驗(yàn)的開發(fā)者來說，要編寫OPS腳本，也需要用匯編語言編寫復(fù)雜而冗長的例程。

作為我們支持更多開發(fā)者和OEM訪問第六代高通AI引擎這一承諾的一部分，今年我們宣布，我們已經(jīng)擴(kuò)展了用于AI加速器的開源編譯器TVM，支持Hexagon。現(xiàn)在，開發(fā)者可以用幾行簡短的Python代碼編寫自定義算子，為Hexagon編譯，并直接插入高通AI引擎Direct框架。

最后，我們增加了對AI模型增效工具包（AIMET）的支持，使用諸如Adaround等訓(xùn)練后量化技術(shù)以及帶有范圍學(xué)習(xí)的量化感知訓(xùn)練，以實(shí)現(xiàn)更好的神經(jīng)網(wǎng)絡(luò)量化，準(zhǔn)確性上幾乎沒有損失。我們還增加了對循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長短時(shí)記憶神經(jīng)網(wǎng)絡(luò)（LSTM）的支持。隨著對混合精度網(wǎng)絡(luò)支持的增加，開發(fā)者將能夠在保持準(zhǔn)確性的同時(shí)最大限度地提高功耗與性能的平衡。與TVM一樣，我們在GitHub上開源了高通AI模型增效工具包，邀請大家與我們的研究人員進(jìn)行公開合作。

我們有一個(gè)很好的用例來展示AIMET的功能。我們將持續(xù)與全球最受歡迎的社交媒體應(yīng)用之一Snapchat合作，通過AIMET的功能來提升熱門濾鏡的性能。

Snapchat 使用我們的AIMET對其AI鏡頭模型進(jìn)行量化，以提高人臉檢測的準(zhǔn)確性和性能。這樣一來，用戶就可以隨時(shí)使用最新的濾鏡，其響應(yīng)速度和流暢性都令人驚嘆。

高通技術(shù)致力于打造顛覆性的尖端硬件和軟件解決方案。驍龍888移動(dòng)平臺(tái)就是此類解決方案之一，我們借此將終端側(cè)AI能力提升到一個(gè)全新的水平，并對我們的工程師在為全球用戶打造更強(qiáng)大的AI體驗(yàn)而無比自豪。

關(guān)注微博或掃描下方二維碼關(guān)注微信公眾號（ID：Qualcomm_China），了解更多Qualcomm 資訊。