論文の概要: A Comprehensive Performance Study of Large Language Models on Novel AI
Accelerators
- arxiv url: http://arxiv.org/abs/2310.04607v1
- Date: Fri, 6 Oct 2023 21:55:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 17:18:16.097262
- Title: A Comprehensive Performance Study of Large Language Models on Novel AI
Accelerators
- Title(参考訳): 新規aiアクセラレーターにおける大規模言語モデルの包括的性能研究
- Authors: Murali Emani, Sam Foreman, Varuni Sastry, Zhen Xie, Siddhisanket
Raskar, William Arnold, Rajeev Thakur, Venkatram Vishwanath, Michael E. Papka
- Abstract要約: 大規模言語モデル(LLM)は、いくつかの課題に対処するための有望なアプローチと考えられている。
専門のAIアクセラレータハードウェアシステムは、最近、AIアプリケーションの高速化に利用できるようになった。
- 参考スコア(独自算出の注目度): 2.88634411143577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Artificial intelligence (AI) methods have become critical in scientific
applications to help accelerate scientific discovery. Large language models
(LLMs) are being considered as a promising approach to address some of the
challenging problems because of their superior generalization capabilities
across domains. The effectiveness of the models and the accuracy of the
applications is contingent upon their efficient execution on the underlying
hardware infrastructure. Specialized AI accelerator hardware systems have
recently become available for accelerating AI applications. However, the
comparative performance of these AI accelerators on large language models has
not been previously studied. In this paper, we systematically study LLMs on
multiple AI accelerators and GPUs and evaluate their performance
characteristics for these models. We evaluate these systems with (i) a
micro-benchmark using a core transformer block, (ii) a GPT- 2 model, and (iii)
an LLM-driven science use case, GenSLM. We present our findings and analyses of
the models' performance to better understand the intrinsic capabilities of AI
accelerators. Furthermore, our analysis takes into account key factors such as
sequence lengths, scaling behavior, sparsity, and sensitivity to gradient
accumulation steps.
- Abstract(参考訳): 人工知能(ai)の手法は、科学的発見を加速するために科学的応用において重要になっている。
大規模言語モデル(LLM)は、ドメイン間の優れた一般化能力のため、いくつかの課題に対処するための有望なアプローチと考えられている。
モデルの有効性とアプリケーションの正確性は、基盤となるハードウェアインフラストラクチャ上での効率的な実行によって決まる。
専門のAIアクセラレータハードウェアシステムは、最近、AIアプリケーションの高速化に利用できるようになった。
しかし、これらのAIアクセラレータの大規模言語モデルにおける比較性能は、これまで研究されていない。
本稿では,複数のAIアクセラレータとGPU上でLLMを系統的に研究し,それらのモデルの性能特性を評価する。
これらのシステムを評価し
(i)コア変圧器ブロックを用いたマイクロベンチマーク
(ii) GPT-2 モデル及び
(iii)LLMによる科学ユースケースであるGenSLM。
本稿では,モデルの性能に関する知見と分析を行い,aiアクセラレーションの本質的能力の理解を深める。
さらに,本解析では,シーケンス長,スケーリング挙動,スパーシティ,勾配蓄積ステップに対する感度といった重要な要因を考慮に入れる。
関連論文リスト
- Using the Abstract Computer Architecture Description Language to Model
AI Hardware Accelerators [77.89070422157178]
AI統合製品の製造者は、製品のパフォーマンス要件に適合するアクセラレータを選択するという、重大な課題に直面します。
抽象コンピュータアーキテクチャ記述言語(ACADL)は、コンピュータアーキテクチャブロック図の簡潔な形式化である。
本稿では,AIハードウェアアクセラレーションのモデル化にACADLを用いること,DNNのマッピングにACADL記述を使用し,タイミングシミュレーションのセマンティクスを解説し,性能評価結果の収集を行う。
論文 参考訳(メタデータ) (2024-01-30T19:27:16Z) - Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Evaluating Emerging AI/ML Accelerators: IPU, RDU, and NVIDIA/AMD GPUs [15.255950116972922]
Graphcore Intelligence Processing Unit (IPU)、Sambanova Reconfigurable Dataflow Unit (RDU)、拡張GPUプラットフォームについてレビューする。
この研究は、これらの商用AI/MLアクセラレータの予備評価と比較を提供する。
論文 参考訳(メタデータ) (2023-11-08T01:06:25Z) - Exploration with Principles for Diverse AI Supervision [88.61687950039662]
次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。
この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。
この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。
本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-10-13T07:03:39Z) - Benchmarking and In-depth Performance Study of Large Language Models on
Habana Gaudi Processors [5.432613942292548]
トランスフォーマーモデルは、様々な機械学習タスクにおいて顕著な成功を収めてきたが、高い計算複雑性とリソース要求に悩まされている。
Habana GAUDIアーキテクチャのような専門的なAIハードウェアアクセラレータは、これらの問題に対処するための有望なソリューションを提供する。
本稿では,GAUDIプロセッサを用いてTransformerベースのモデルを高速化する未解決の可能性について検討し,そのプロセスにおける重要な課題に対処する。
論文 参考訳(メタデータ) (2023-09-29T04:49:35Z) - AutoML-GPT: Automatic Machine Learning with GPT [74.30699827690596]
本稿では,タスク指向のプロンプトを開発し,大規模言語モデル(LLM)を自動的に活用して学習パイプラインを自動化することを提案する。
本稿では,多様なAIモデルのブリッジとしてGPTを用いたAutoML-GPTを提案する。
このアプローチはコンピュータビジョン、自然言語処理、その他の課題領域において顕著な結果をもたらす。
論文 参考訳(メタデータ) (2023-05-04T02:09:43Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳(メタデータ) (2023-03-31T17:28:46Z) - Deep learning applied to computational mechanics: A comprehensive
review, state of the art, and the classics [77.34726150561087]
人工知能,特に深層学習(DL)の最近の進歩を概観する。
ハイブリッドおよび純粋機械学習(ML)の手法について論じる。
AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
論文 参考訳(メタデータ) (2022-12-18T02:03:00Z) - FAIR AI Models in High Energy Physics [16.744801048170732]
実験高エネルギー物理学におけるAIモデルに対するFAIR原則の実践的定義を提案する。
これらの原則を適用するためのテンプレートについて説明する。
本稿では,このFAIR AIモデルの堅牢性,ハードウェアアーキテクチャとソフトウェアフレームワーク間のポータビリティ,解釈可能性について報告する。
論文 参考訳(メタデータ) (2022-12-09T19:00:18Z) - SAIH: A Scalable Evaluation Methodology for Understanding AI Performance
Trend on HPC Systems [18.699431277588637]
本稿では,HPCシステムのAI性能傾向を分析するためのスケーラブルな評価手法(SAIH)を提案する。
データとモデルは絶えずスケールするので、HPCシステムにおけるAIパフォーマンスの傾向と範囲を調べることができる。
論文 参考訳(メタデータ) (2022-12-07T02:42:29Z) - Trends in Energy Estimates for Computing in AI/Machine Learning
Accelerators, Supercomputers, and Compute-Intensive Applications [3.2634122554914]
幾何スケーリング法則により駆動される異なるシステムの計算エネルギー要求について検討する。
幾何スケーリングによるエネルギー効率が低下していることを示す。
応用レベルでは、汎用AI-ML手法は計算エネルギー集約化が可能である。
論文 参考訳(メタデータ) (2022-10-12T16:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。