論文の概要: TRANSOM: An Efficient Fault-Tolerant System for Training LLMs

• arxiv url: http://arxiv.org/abs/2310.10046v1
• Date: Mon, 16 Oct 2023 04:06:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 16:38:53.456675
• Title: TRANSOM: An Efficient Fault-Tolerant System for Training LLMs
• Title（参考訳）: TransOM: LLM訓練のための高効率耐故障性システム
• Authors: Baodong Wu, Lei Xia, Qingping Li, Kangyu Li, Xu Chen, Yongqiang Guo, Tieyao Xiang, Yuheng Chen, Shigang Li
• Abstract要約: グラフGPTで表される大規模言語モデル(LLM)は、様々な分野で深い応用とブレークスルーを実現している。 本研究では,TOL(Training Pipeline Automatic Fault Tolerance and Recovery Mechanism),TEE(Training Task Multi-dimensional Metric Anomaly Detection System),TCE(Training Asynchronous Checkpoint Access Automatic Fault Tolerance and Recovery Technology)の3つの重要なコンポーネントを設計した。 予備的な結果から,TransOMはクラスタ上での大規模LLM訓練の効率を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 7.831906758749453
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) represented by chartGPT have achieved profound applications and breakthroughs in various fields. This demonstrates that LLMs with hundreds of billions or trillions of parameters will continue to transform our daily lives. However, training LLMs with super-large-scale parameters requires even larger and high-performance GPU clusters and continuous training periods lasting for months. Due to the inevitable hardware and software failures in large clusters, maintaining large-scale training sessions lasting more than a week has become extremely challenging. A significant amount of time is spent on tasks such as checkpoint saving and recovery, task restart submissions, and task anomaly checks, greatly reducing the efficiency of effective training. To address these issues, a novel fault-tolerant large model training system has been proposed, which we named TRANSOM. In this work, we have designed three key components: the Training pipeline Automatic Fault Tolerance and Recovery Mechanism (TOL), the Training Task Multi-dimensional Metric Automatic Anomaly Detection System (TEE), and the Training Checkpoint Asynchronous Access Automatic Fault Tolerance and Recovery Technology (TCE). Our preliminary results indicate that TRANSOM significantly accelerates the efficiency of large-scale LLMs training on clusters. For instance, the pre-training time for GPT-3 with 175B parameters has been reduced by 28%, and the checkpoint storage and recovery performance has improved by a factor of 20.
• Abstract（参考訳）: グラフGPTで表される大規模言語モデル(LLM)は、様々な分野で深い応用とブレークスルーを実現している。 これは、数十億、数十億のパラメータを持つLCMが、私たちの日常生活を変え続けることを示す。 しかし、超大規模パラメータによるLLMのトレーニングには、さらに大きくて高性能なGPUクラスタと、数ヶ月にわたって継続的なトレーニング期間が必要である。 大規模クラスタで必然的なハードウェアとソフトウェア障害のため、1週間以上にわたって大規模なトレーニングセッションを継続することは極めて困難になっている。 チェックポイントの保存とリカバリ、タスクの再起動、タスク異常チェックといったタスクにかなりの時間を費やし、効果的なトレーニングの効率を大幅に低下させます。 これらの問題に対処するために,我々はTransOMと名付けた新しい耐故障性大規模モデルトレーニングシステムを提案した。 本研究では,TOL(Training Pipeline Automatic Fault Tolerance and Recovery Mechanism),TEE(Training Task Multi-dimensional Metric Anomaly Detection System),TCE(Training Checkpoint Asynchronous Access Automatic Fault Tolerance and Recovery Technology)の3つの重要なコンポーネントを設計した。 予備的な結果から,TransOMはクラスタ上での大規模LLM訓練の効率を著しく向上させることが示された。 例えば、175bのパラメータを持つgpt-3の事前トレーニング時間は28%削減され、チェックポイントの保存とリカバリのパフォーマンスは20倍向上した。

関連論文リスト

• Guiding Through Complexity: What Makes Good Supervision for Hard Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)
• MENTOR: Mixture-of-Experts Network with Task-Oriented Perturbation for Visual Reinforcement Learning [17.437573206368494]
  視覚深部強化学習(RL)は、ロボットが非構造化タスクの視覚入力からスキルを習得することを可能にする。 現在のアルゴリズムはサンプル効率が低く、実用性が制限されている。 本稿では,RLエージェントのアーキテクチャと最適化の両方を改善する手法であるMENTORを提案する。
  論文  参考訳（メタデータ） (2024-10-19T04:31:54Z)
• Light-Weight Fault Tolerant Attention for Large Language Model Training [14.178223242134166]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて顕著な性能を示した。 LLMは、特にアテンション機構において故障の影響を受けやすいが、これはトランスフォーマーベースのLLMの重要な構成要素である。 我々は,LLMにおけるアテンション機構に適したアルゴリズムベースフォールトトレランス(ABFT)技術であるATTNCheckerを提案する。
  論文  参考訳（メタデータ） (2024-10-15T15:52:45Z)
• Training Overhead Ratio: A Practical Reliability Metric for Large Language Model Training Systems [13.880001659156926]
  大規模言語モデル(LLM)は、優れた能力でAI産業に革命をもたらしている。 これらのモデルのトレーニングには、大規模なGPUクラスタと大幅な計算時間が必要で、頻繁な障害が発生する。 本稿では, 耐故障性LLMトレーニングシステムの信頼性を評価するために, emphTraining Overhead Ratio (TOR) と呼ばれる新しい信頼性指標を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:55:28Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Boosting Distributed Machine Learning Training Through Loss-tolerant Transmission Protocol [11.161913989794257]
  分散機械学習(DML)システムは、データセンター(DC)とエッジノードにおけるモデルトレーニングのスピードを高めるために使用される。 PS通信アーキテクチャは、多対一の"インキャスト"トラフィックパターンが原因で、トレーニングスループットに悪影響を及ぼすという、非常に長いレイテンシに直面している。 textbfLoss-tolerant textbfTransmission textbfProcolは、同期中に勾配が部分的に失われ、不要な再送信を避ける。 textitEarly Closes the loss-tolerant threshold based on network conditions and textit
  論文  参考訳（メタデータ） (2023-05-07T14:01:52Z)
• Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers [107.3726071306935]
  そこで我々は,SMoE-Dropoutというプラグイン・アンド・プレイ・トレーニング・フレームワークを提案する。 SMoE-Dropoutはランダムで固定されたルータネットワークで構成され、エキスパートを活性化し、トレーニングが進むにつれて、アクティベートされたエキスパート数を徐々に増加させる。 本実験では,SMoE-Dropout の高密度トレーニングベースラインと等価パラメータ数との比較により,SMoE-Dropout の優れた性能と計算精度を実証した。
  論文  参考訳（メタデータ） (2023-03-02T22:12:51Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。