論文の概要: TRANSOM: An Efficient Fault-Tolerant System for Training LLMs

• arxiv url: http://arxiv.org/abs/2310.10046v2
• Date: Tue, 17 Oct 2023 17:03:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 10:45:40.485925
• Title: TRANSOM: An Efficient Fault-Tolerant System for Training LLMs
• Title（参考訳）: TransOM: LLM訓練のための高効率耐故障性システム
• Authors: Baodong Wu, Lei Xia, Qingping Li, Kangyu Li, Xu Chen, Yongqiang Guo, Tieyao Xiang, Yuheng Chen, Shigang Li
• Abstract要約: 本稿では,耐故障性のある大規模モデルトレーニングシステムであるTransOMを紹介する。 トレーニングパイプライン自動耐障害回復機構(TOL)、トレーニングタスク多次元メートル法自動異常検出システム(TEE)、トレーニングチェックポイント非同期アクセス自動耐障害回復技術(TCE)の3つの統合コンポーネントから構成される。 実験結果から,TransOMはクラスタ上での大規模LLMトレーニングの効率を著しく向上させることが示された。
• 参考スコア（独自算出の注目度）: 7.831906758749453
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs), exemplified by chatGPT, have made significant strides in various domains, indicating that LLMs with hundreds of billions or even trillions of parameters will continue to revolutionize our daily lives. However, training such super-large-scale models demands even more powerful GPU clusters and extended training periods spanning months. Maintaining uninterrupted and long-duration training has become exceptionally challenging due to hardware and software failures in these extensive clusters. A substantial amount of training time is devoted to tasks checkpointing saving and loading, ananomaly detection and restarts, leading to a notable reduction in overall training efficiency.To address these challenges, we introduce novel fault-tolerant large-scale model training system named TRANSOM. This system comprises three integral components: the training pipeline automatic fault tolerance and recovery mechanism (TOL), the training task multi-dimensional metric automatic anomaly detection system (TEE), and the training checkpoint asynchronous access automatic fault tolerance and recovery technology (TCE). Here, TOL serves as the operating system for the training task, while TEE is responsible for task monitoring and error handling, promptly detecting anomalies and relaying them to TOL. Subsequently, TOL autonomously determines and implements fault tolerance strategies for the training task, with the TCE facilitating asynchronous checkpoint saving and loading during the fault tolerance process. The experimental results indicate that TRANSOM significantly enhances the efficiency of large-scale LLM training on clusters. Specifically, the pre-training time for GPT3-175B has been reduced by 28%, while checkpoint saving and loading performance have improved by a factor of 20.
• Abstract（参考訳）: chatgptで例示される大規模な言語モデル(llm)は、さまざまな領域で大きな進歩を遂げており、数十億、あるいは数十兆のパラメータを持つllmは、私たちの日常生活に革命をもたらし続けることを示唆している。 しかし、そのような超大規模モデルのトレーニングには、より強力なGPUクラスタと数ヶ月間のトレーニング期間が要求される。 断続的かつ長期にわたるトレーニングの維持は、これらの広範なクラスタでハードウェアとソフトウェアの障害のため、非常に困難になっている。 本研究は, 省力化, 省力化, 省力化, アナノマリ検出, 再起動などのタスクに相当量のトレーニング時間を費やし, 総合訓練効率の大幅な低下を招き, これらの課題に対処するために, TransOM という新しいフォールトトレラントな大規模モデルトレーニングシステムを導入する。 本システムは、トレーニングパイプライン自動耐故障回復機構(TOL)、トレーニングタスク多次元メートル法自動異常検出システム(TEE)、トレーニングチェックポイント非同期アクセス自動耐故障回復技術(TCE)の3つの統合コンポーネントから構成される。 ここで、TOLはトレーニングタスクのオペレーティングシステムとして機能し、TEEはタスクの監視とエラー処理を担当し、即座に異常を検出してTOLにリレーする。 その後、TOLはトレーニングタスクのフォールトトレランス戦略を自律的に決定、実装し、TEはフォールトトレランスプロセス中に非同期チェックポイントの保存とロードを容易にする。 実験結果から,TransOMはクラスタ上での大規模LLMトレーニングの効率を著しく向上させることが示された。 具体的には, GPT3-175Bの事前学習時間を28%削減し, チェックポイントの保存およびロード性能は20。

関連論文リスト

• Guiding Through Complexity: What Makes Good Supervision for Hard Reasoning Tasks? [74.88417042125985]
  複雑さの異なるタスクにおいて、様々な品質レベルで監視データを提供する様々なデータ駆動戦略について検討する。 ハードタスクの監視における結果エラー率が高い場合でも、そのようなデータによるトレーニングは、より簡単なサブタスクの監督を完璧に上回ります。 また,本研究の結果から,タスク・インスペクションとサブタスク・インスペクションを補完することで,顕著なパフォーマンス向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T17:55:27Z)
• MENTOR: Mixture-of-Experts Network with Task-Oriented Perturbation for Visual Reinforcement Learning [17.437573206368494]
  視覚深部強化学習(RL)は、ロボットが非構造化タスクの視覚入力からスキルを習得することを可能にする。 現在のアルゴリズムはサンプル効率が低く、実用性が制限されている。 本稿では,RLエージェントのアーキテクチャと最適化の両方を改善する手法であるMENTORを提案する。
  論文  参考訳（メタデータ） (2024-10-19T04:31:54Z)
• Light-Weight Fault Tolerant Attention for Large Language Model Training [14.178223242134166]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて顕著な性能を示した。 LLMは、特にアテンション機構において故障の影響を受けやすいが、これはトランスフォーマーベースのLLMの重要な構成要素である。 我々は,LLMにおけるアテンション機構に適したアルゴリズムベースフォールトトレランス(ABFT)技術であるATTNCheckerを提案する。
  論文  参考訳（メタデータ） (2024-10-15T15:52:45Z)
• Training Overhead Ratio: A Practical Reliability Metric for Large Language Model Training Systems [13.880001659156926]
  大規模言語モデル(LLM)は、優れた能力でAI産業に革命をもたらしている。 これらのモデルのトレーニングには、大規模なGPUクラスタと大幅な計算時間が必要で、頻繁な障害が発生する。 本稿では, 耐故障性LLMトレーニングシステムの信頼性を評価するために, emphTraining Overhead Ratio (TOR) と呼ばれる新しい信頼性指標を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:55:28Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Boosting Distributed Machine Learning Training Through Loss-tolerant Transmission Protocol [11.161913989794257]
  分散機械学習(DML)システムは、データセンター(DC)とエッジノードにおけるモデルトレーニングのスピードを高めるために使用される。 PS通信アーキテクチャは、多対一の"インキャスト"トラフィックパターンが原因で、トレーニングスループットに悪影響を及ぼすという、非常に長いレイテンシに直面している。 textbfLoss-tolerant textbfTransmission textbfProcolは、同期中に勾配が部分的に失われ、不要な再送信を避ける。 textitEarly Closes the loss-tolerant threshold based on network conditions and textit
  論文  参考訳（メタデータ） (2023-05-07T14:01:52Z)
• Sparse MoE as the New Dropout: Scaling Dense and Self-Slimmable Transformers [107.3726071306935]
  そこで我々は,SMoE-Dropoutというプラグイン・アンド・プレイ・トレーニング・フレームワークを提案する。 SMoE-Dropoutはランダムで固定されたルータネットワークで構成され、エキスパートを活性化し、トレーニングが進むにつれて、アクティベートされたエキスパート数を徐々に増加させる。 本実験では,SMoE-Dropout の高密度トレーニングベースラインと等価パラメータ数との比較により,SMoE-Dropout の優れた性能と計算精度を実証した。
  論文  参考訳（メタデータ） (2023-03-02T22:12:51Z)
• ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning [59.08197876733052]
  補助タスク学習(ATL)は、関連するタスクから得られる知識を活用することにより、目標タスクの性能を向上させることを目的としている。 複数のタスクを同時に学習すると、ターゲットタスクのみを学習するよりも精度が低下することがある。 ForkMergeは、モデルを定期的に複数のブランチにフォークし、タスクの重みを自動的に検索する新しいアプローチである。
  論文  参考訳（メタデータ） (2023-01-30T02:27:02Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Understanding the Difficulty of Training Transformers [120.99980924577787]
  バランスの取れない勾配がトレーニングの不安定性の根本原因ではないことを示す。 我々は,早期段階のトレーニングを安定させ,後期段階においてその潜在能力を最大限に活用するためのアドミンを提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。