歡迎光臨 : 北京品立科技有限責任公司服務熱線 :+86-400-127-3302
語言選擇: 中文版 ∷  英文版

新聞中心

如何突破Decoder性能瓶頸?英偉達專家揭秘

自從 “Attention is All You Need” 在2017年提出以來,Transformer已成為 NLP 領域中非常熱門的深度學習網絡架構。但是在推理部署階段,其計算性能往往難以滿足在線業務對于低延遲和高吞吐的要求。

在英偉達開源的FasterTransformer 1.0版本中,針對BERT中的 Transformer Encoder進行了優化和加速,經過高度優化之后,降低了用戶使用transformer編碼的時延。

在解決了Encoder性能問題之后,英偉達將重點放到了同樣重要的Transformer Decoder推理上。

因此,英偉達推出了FasterTransformer 2.0版本,提供針對解碼器進行高度優化的transformer layer。同時,還提供了優化過后的整個翻譯流程,滿足想要在翻譯場景中大幅降低時延的用戶們。

亚洲AV无码乱码在线观看性色,国产成人无码免费视频97动漫,亚洲高清无码久久久,91精品无码久久久久久久久