站內搜索
 
EDC系列軟件   EDC系列軟件
   
 
 
 
 
 
 
dg
 
解決方案   解決方案
   
 
 
 
 
 
 
dg
 
聯系方式
 
電話:0755-29165342
傳真:0755-29183559
咨詢熱線:13544129397
聯系人:劉先生
dg
 
關于EDC
 
聯系我們
 
解決方案
 
新聞中心
您當前所在位置:首頁 > 新聞中心
 
d
 
英特爾用神經網絡芯片推倒AI技術

    作者:宏拓新軟件
    發布日期:2019-11-25         
閱讀:72     
 
 

在今年的英特爾AI峰會上,該芯片制造商展示了其第一代神經網絡處理器(NNP):用于訓練的NNP-T和用于推理的NNP-I。兩條產品線現在都已投入生產,并已交付給最初的客戶,活動中出現了其中的兩家,分別為Facebook和百度,以贊揚新的切片機。

神經網絡芯片

專用的NNP設備代表了英特爾迄今為止對AI市場的最深推動,挑戰了Nvidia,AMD和一系列針對專門為人工智能部署專用芯片的客戶的初創公司。就NNP產品而言,該客戶群是由超大型公司(如Google,Facebook,Amazon等)固定的,這些公司的業務現在都由人工智能提供支持。

英特爾公司人工智能產品事業部副總裁兼總經理Naveen Rao在AI峰會上致開幕詞時表示,該公司的AI解決方案預計將在2019年產生超過35億美元的收入。不要將其細分為特定產品的銷售,大概它包括將AI注入硅片的所有產品。當前,它幾乎涵蓋了從Xeon和Core CPU到Altera FPGA產品,Movidius計算機視覺芯片以及現在的NNP-I和NNP-T產品線的整個英特爾處理器產品組合。(顯然,該數字僅包括Xeon和Core收入中實際上由AI驅動的部分。)神經網絡處理器為英特爾提供了針對數據中心的首個專用AI產品,該空間目前主要由Nvidia的Tesla GPU,Intel本身的Xeon CPU以及較小程度上來自Intel和Xilinx的FPGA主導。

Rao告訴聽眾,盡管AI市場并非單一的,需要基于不同的性能要求和業務需求的各種解決方案,但高端對專用AI處理器的需求也非常迫切。為了支持該論點,Rao指出了神經網絡模型的日益復雜性,根據參數數量,神經網絡模型每年的增長速度約為10倍。Rao說:“這是我從未見過的指數式增長?!彼鉤淥?,這種增長速度超過了他所知道的每一次技術轉換。為了應對這種增長,用戶不僅必須依靠能夠非??燜俚刂蔥邢喙丶撲愕淖ㄓ么砥?,而且必須能夠以橫向方式使用它們。簡而言之,這就是NNP產品線的商業案例。

三年前,英特爾收購了Nervana Systems時,甚至沒有設想到推論線NNP-I。那時,饒和他的團隊正在開發一種訓練芯片,該芯片只是在側面進行推斷。它不被認為是值得專業化的東西。當然,現在,推理已被普遍認為是一種獨特的工作負載,它對低延遲,低功耗和特殊數學有其特殊的需求。

第一代推理處理器NNP-I 1000采用Intel的10納米工藝實現,根據SKU的不同,其功耗在10瓦至50瓦之間。它由12個推理計算引擎和2個IA CPU內核組成,這些內核通過高速緩存一致性互連掛鉤。它可以執行混合精度數學,特別強調使用INT8進行的低精度計算。

NNP-I 1000提供兩種產品:NNP I-1100(包含一個NNP-I芯片的12瓦M.2卡)和NNP I-1300(由以下設備供電的75瓦PCI-Express卡)兩個籌碼。NNP I-1100提供高達50 TOPS,而NNP I-1300提供高達170 TOPS。

Rao聲稱,一旦將功率考慮進去,就根據MLPerf基準測試,就每瓦性能而言,NNP-I將成為推理領導者。他說,它還提供了非凡的密度,“您可以將每秒最多的推論推入單個機架單元中?!蓖ü⑻囟牟飭?,它還提供了Nvidia T4 GPU的計算密度的3.7倍。結果,Rao說:“我們可以運行更大的模型,更復雜的模型,并并行運行數十個模型?!?/P>

為了支持數據中心(尤其是超大規模數據中心)所需的可伸縮性級別,英特爾已經開發了與此類環境相關的解決方案堆棧。特別是,該公司開發了使用Kubernetes掛鉤將NNP-I應用程序容器化的軟件。它還提供了支持功能即服務(FaaS)模型的參考軟件堆棧,該模型是基于云的推理的新興范例。

Facebook的AI主管Misha Smelyanskiy加入Rao,解釋說其Glow機器學習編譯器已移植到NNP-I硬件上,這暗示著這家社交媒體巨頭已開始至少在其某些數據中心中安裝這些設備。Smelyanskiy沒有提供有關這些部署范圍的任何詳細信息,但確實提到了新硬件可以提供的一些關鍵推理應用程序,包括照片標記,語言翻譯,內容推薦以及垃圾郵件和虛假帳戶檢測。Smelyanskiy解釋說,這些針對Facebook的專用ASIC的價值在于,它們“使ML工作負載的執行具有高性能和高能效性?!?/P>

NNP-T 1000 ASIC完全是另一種芯片,提供了更大的計算能力。它由多達24個Tensor處理核心(支持FP32和bfloat16數字格式),55 MB至60 MB的片上SRAM,32 GB的高帶寬存儲器(HBM)和片間鏈接(ICL)組成16112 Gb /秒的通道數ASIC以兩種尺寸形式提供:PCI Express卡(NNP-T 1300)或夾層卡(NNP-T 14000)。PCI-Express卡的最大功耗為300瓦,而Mezzanine卡的最大功耗為375瓦。

ICL鏈接可用于跨越系統的多個級別,用作跨節點中的卡,機架中的節點和POD中的機架的無縫連接結構。一個節點最多可以構建八個卡,并且可以連接這些卡以構建多機架POD。在AI峰會活動上,他們演示了一個帶有480個NNP-T卡的10機架POD,無需使用開關。結構是使NNP-T平臺能夠大規模使用以訓練這些數十億參數模型(在合理的時間內)的關鍵設計元素。Rao解釋說:“橫向擴展可能是培訓中最重要的問題,任何新的培訓體系結構都必須考慮這一點?!?/P>

借助32卡NNP-T機架,英特爾在標準圖像分類模型ResNet-50和自然語言處理的高級模型BERT上展示了95%的縮放效率。

百度是NNP-T芯片的早期采用者,并且一直與英特爾在硬件和軟件方面進行合作。百度AI研究學者肯尼斯·丘奇(Kenneth Church)表示,軟件工作著重于為Paddle-Paddle實現一個NNP-T端口,Paddle-Paddle是一種開源深度學習平臺,已在百度廣泛使用,在中國有150萬開發人員使用。在硬件方面,該公司正在使用NNP-T為其X-Man 4.0 AI超級計算機供電,該超級計算機每機架使用32個設備。丘奇說,該系統已經在他們的實驗室中運行工作負載。他補充說:“我們計劃很快在百度的基礎架構中使用它?!?/P>

所有這些驅動因素是神經網絡復雜性的指數增長。Rao認為,當今最大的模型包含多達1000億個參數,代表了該行業的拐點。在這個級別上,這些模型已經開始做更多的工作,而不僅僅是從數據中提取有用的信息。他們現在可以開始充分理解該數據以將其轉化為知識。據他說,這意味著信息將必須應用于過去的經驗,并在這種情況下推動行動。聽起來與人類的行為相似。正如他所承認的那樣,人腦必須​​處理3萬億至500萬億之間的參數,而這僅需20瓦即可完成?!敖裉?,我們真的只是在摸索,” Rao說。

 

[打印本頁]  [關閉窗口] 

 
 
 
深圳市宏拓新軟件有限公司   電話:0755-29165342 29165247  傳真:0755-29183559   24小時咨詢熱線:13544129397   聯系人:劉先生    網站地圖
地址:深圳市龍華區民治街道東邊商業大廈10樓  Copyright © 2004 - 2018 EDC Corporation, All Rights Reserved 粵ICP備06070166號
双色球100期带坐标走势图带连线 ERP 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 電源erp 電子erp 電機erp 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 双色球100期带坐标走势图带连线 led erp lcd erp 安防erp