首頁 > 文章內容

“軟硬齊上”!Nvidia新模型加硬件有望大幅壓縮交互延遲

智東西(公眾號:zhidxcom)

編 | 年年

導語:Nvidia新語言模型使用了83億個參數,比Bert大24倍,將顯著提高自然語言處理水平。

智東西8月19日消息,據外媒報道,Nvidia上周宣布,它已經訓練出了世界上最大的語言模型MegatronLM,Nvidia還宣布其打破了BERT模型的最快訓練記錄,在53分鐘內成功訓練了BERT,并將BERT推理時間降至了2.2毫秒。

BERT推理時間降至了2.2毫秒什么概念呢?目前許多實時應用設置的處理閾值都是10毫秒,2.2毫秒基本就意味著實時反映、實時交互。

這項研究成果將提高自然語言處理的能力和水平,在開源給開發人員后,結合Nvidia自身GPU等強大的硬件將大幅度提高語義理解準確率和交互速度,這對于實現人工智能實時對話將有很大的推動作用。

一、53分鐘訓練BERT

在打破了所有與計算機視覺模型訓練相關的記錄后,Nvidia現在宣稱其人工智能平臺能夠在53分鐘內訓練基于最大數據集之一的自然語言神經網絡模型BERT。它還表示BERT的推理時間僅為2.2毫秒,這意味著參與用戶對話的模型的響應速度極快。

▲Siri、Alexa、Cortana、Google Assistant

在計算機視覺之后,自然語言處理是人工智能最重要的應用之一。從Siri到Alexa,從Cortana到Google Assistant,所有會話式用戶體驗工具都由人工智能提供支持。

人工智能研究的新進步將語義理解和語音交互賦能給了開發人員,數據科學家和開發人員現在可以構建定制的人工智能模型,其工作原理與Alexa和Siri完全相同。

不同的是現在可以從醫療保健、法律等垂直行業角度進行專業化的高度定制,這使醫生和律師能夠與理解術語和對話上下文的AI代理進行交互,這種新的用戶體驗將成為未來行業應用的一部分。

盡管聊天機器人和會話代理AI已經存在一段時間,但它們還并沒有真正接近人類的理解水平,隨著人工智能軟硬件平臺的進步,這種狀況將發生變化。

二、NLP研究的改變者“BERT”

去年,谷歌開源了一種新技術,用于預訓練自然語言處理(NLP)模型,稱為BERT。谷歌的這一技術通過授權開發人員培訓他們自己最先進的問答系統和其他基于自然語言的模型,徹底改變了會話領域用戶體驗。

谷歌展示了BERT如何從斯坦福問答數據集(SQUAD)中產生準確的結果,這是一個閱讀理解數據集,基于群眾工作者在一組維基百科文章中提出的問題。

由于其激進的方法,BERT是NLP研究界的改變者。與通過從左到右或從右到左閱讀句子來推導上下文的其他模型不同,BERT可以一次讀取整個句子以獲得最準確的上下文,這種方法大大減少了生成高度語境化詞匯表示所花費的時間。

▲BioBERT專為生物醫學文本挖掘任務而設計

BERT是一些最佳的會話體驗的基礎,包括BioBERT,一種生物醫學領域的語言表示模型,專為生物醫學文本挖掘任務而設計。Microsoft增強了BERT以創建多任務深度神經網絡(MT-DNN)。MT-DNN根據通用語言理解評估(GLUE)基準,成功為9個NLP任務中的7個設置了新的高性能標準。

三、新模型運行1472個NVIDIA V100 GPU

根據NVIDIA的說法,它的AI平臺是第一個能夠在不到一個小時的時間內訓練BERT并在2毫秒內完成AI推理的平臺。

這種突破性的性能水平使開發人員能夠將最先進的語言理解用于他們可以向全球數億消費者提供的大規模應用程序。

▲微軟的Azure和Bing

微軟已經采用了Nvidia的平臺來提供一些基于語言的人工智能服務,為Azure和Bing提供支持。

NVIDIA訓練了世界上最大的基于Transformers的語言模型,這個模型擁有83億個參數,是BERT-Large數據集的24倍。

訓練使用了92個共運行1472個NVIDIA V100 GPU的NVIDIA DGX-2H系統,最后在NVIDIA DGX SuperPOD上的訓練時間從幾天減少到僅53分鐘。

除此之外,基于運行TensorRT的NVIDIA T4 GPU的推理時間僅需2.2毫秒,考慮到為許多實時應用設置的10毫秒處理閾值,這是非常快的。

許多加入NVIDIA Inception計劃的初創公司都在使用其AI平臺和BERT模型的優化版本,為其客戶提供下一代用戶體驗。

結語:軟硬件結合實現實時對話

Nvidia的新模型MegatronLM擁有83億個參數,這對于自然語言處理方面是巨大的進步,在和自身的硬件結合之后,將大大提高語義理解準確率和語音交互速度。

這一進步最重大的意義是有望推動實時對話的實現,目前的AI對話在實現較高準確率的同時都存在一定時間的延遲,而這就很影響用戶體驗,如果能夠縮短甚至基本消除延遲時間,那么語音交互將得到巨大的發展。

責任編輯:

相關推薦

相關新聞

回到首頁 回到頂部

網站簡介 - 廣告服務 - 誠聘英才 - 聯系我們 - 法律聲明 - 友情鏈接

加拿大快乐8作假吗