論文の概要: Comprehensive Performance Modeling and System Design Insights for Foundation Models

• arxiv url: http://arxiv.org/abs/2410.00273v1
• Date: Mon, 30 Sep 2024 22:56:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 06:35:59.517410
• Title: Comprehensive Performance Modeling and System Design Insights for Foundation Models
• Title（参考訳）: 基礎モデルの総合的性能モデリングとシステム設計指針
• Authors: Shashank Subramanian, Ermal Rrapaj, Peter Harrington, Smeet Chheda, Steven Farrell, Brian Austin, Samuel Williams, Nicholas Wright, Wahid Bhimji,
• Abstract要約: 生成AI、特に大きなトランスフォーマーモデルは、科学や産業においてHPCシステム設計を推進している。 本稿では, トランスモデルの性能特性を分析し, トランスモデルに対する感度, 並列化戦略, HPCシステムの特徴について考察する。 本分析では,システム機能を念頭に置いて,異なるトランスフォーマー型の性能モデリングを行う必要があることを強調した。
• 参考スコア（独自算出の注目度）: 1.4455936781559149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative AI, in particular large transformer models, are increasingly driving HPC system design in science and industry. We analyze performance characteristics of such transformer models and discuss their sensitivity to the transformer type, parallelization strategy, and HPC system features (accelerators and interconnects). We utilize a performance model that allows us to explore this complex design space and highlight its key components. We find that different transformer types demand different parallelism and system characteristics at different training regimes. Large Language Models are performant with 3D parallelism and amplify network needs only at pre-training scales with reduced dependence on accelerator capacity and bandwidth. On the other hand, long-sequence transformers, representative of scientific foundation models, place a more uniform dependence on network and capacity with necessary 4D parallelism. Our analysis emphasizes the need for closer performance modeling of different transformer types keeping system features in mind and demonstrates a path towards this. Our code is available as open-source.
• Abstract（参考訳）: 生成AI、特に大きなトランスフォーマーモデルは、科学や産業においてHPCシステム設計を推進している。 本研究では, トランスモデルの性能特性を分析し, トランスタイプ, 並列化戦略, HPCシステム機能(加速器と相互接続)に対する感度について検討する。 私たちは、この複雑なデザイン空間を探索し、その重要なコンポーネントを強調できるパフォーマンスモデルを活用しています。 異なる変圧器タイプは異なる訓練体制で異なる並列性やシステム特性を必要とする。 大規模言語モデルは3次元並列性を備えており、ネットワークを増幅するには、アクセラレーション容量と帯域幅への依存を減らし、事前訓練の規模でしか必要としない。 一方、科学基礎モデルの代表である長列トランスフォーマーは、ネットワークとキャパシティにより均一な4次元並列性を持たせる。 本分析では,システム機能を念頭に置いて,様々なトランスフォーマータイプの性能モデリングを行う必要があることを強調し,これに向けた道筋を示す。 私たちのコードはオープンソースとして利用可能です。

関連論文リスト

• Demystifying the Communication Characteristics for Distributed Transformer Models [2.849208476795592]
  本稿ではトランスモデルの通信挙動について検討する。 我々はGPTに基づく言語モデルをトランスフォーマーアーキテクチャの汎用性によるケーススタディとして用いている。 高いレベルでは、我々の分析により、より小さなメッセージポイントツーポイント通信を最適化する必要性が明らかになる。
  論文  参考訳（メタデータ） (2024-08-19T17:54:29Z)
• CViT: Continuous Vision Transformer for Operator Learning [24.1795082775376]
  連続ビジョントランスフォーマー(Continuous Vision Transformer、CViT)は、コンピュータビジョンの進歩を活用して複雑な物理システムを学ぶ際の課題に対処する、新しい神経オペレーターアーキテクチャである。 CViTは、ビジョントランスフォーマーエンコーダ、新しいグリッドベースの座標埋め込み、マルチスケール依存関係を効果的にキャプチャするクエリワイドのクロスアテンション機構を組み合わせたものである。 本研究では, 流体力学, 気候モデル, 反応拡散過程を含む多種多様な偏微分方程式(PDE)システムにおけるCViTの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-22T21:13:23Z)
• Differential Evolution Algorithm based Hyper-Parameters Selection of Transformer Neural Network Model for Load Forecasting [0.0]
  トランスフォーマーモデルは、そのアテンションメカニズムから派生した長距離依存を学習できるため、ロード予測を改善する可能性がある。 我々の研究は,平均二乗誤差 (MSE) や平均絶対パーセンテージ誤差 (MAPE) といった数値に基づく負荷予測において,異なるメタヒューリスティックアルゴリズムと統合されたトランスフォーマーベースニューラルネットワークモデルを比較した。
  論文  参考訳（メタデータ） (2023-07-28T04:29:53Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• TransDreamer: Reinforcement Learning with Transformer World Models [33.34909288732319]
  我々はTransDreamerと呼ばれるトランスフォーマーに基づくモデルベース強化学習エージェントを提案する。 まず、トランスフォーマー状態空間モデルを紹介し、この世界モデルをトランスフォーマーベースのポリシーネットワークと共有し、トランスフォーマーベースのRLエージェントをトレーニングする安定性を得る。 実験では,2次元の視覚的RLと3次元の視覚的RLタスクに対して,メモリベースの推論において,長期のメモリアクセスを必要とする2つの視覚的RLタスクに提案モデルを適用し,これらの複雑なタスクにおいて,提案モデルがドリーマーより優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-19T00:30:52Z)
• ViTAE: Vision Transformer Advanced by Exploring Intrinsic Inductive Bias [76.16156833138038]
  コンボリューション, ie, ViTAEから内在性IBを探索するビジョントランスフォーマーを提案する。 ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。 各トランス層では、ViTAEはマルチヘッド自己保持モジュールと平行な畳み込みブロックを持ち、その特徴は融合されフィードフォワードネットワークに供給される。
  論文  参考訳（メタデータ） (2021-06-07T05:31:06Z)
• Transformers in Vision: A Survey [101.07348618962111]
  トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。 変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。 本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2021-01-04T18:57:24Z)
• AutoTrans: Automating Transformer Design via Reinforced Architecture Search [52.48985245743108]
  本稿では,手作業に適したトランスフォーマーアーキテクチャを実現するために,レイヤノルムの設定方法,スケール,レイヤ数,ヘッド数,アクティベーション関数などを実証的に検討する。 CoNLL03、Multi-30k、IWSLT14、WMT-14の実験は、探索されたトランスモデルが標準トランスモデルより優れていることを示している。
  論文  参考訳（メタデータ） (2020-09-04T08:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。