論文の概要: Enhancing Large-Scale AI Training Efficiency: The C4 Solution for Real-Time Anomaly Detection and Communication Optimization

• arxiv url: http://arxiv.org/abs/2406.04594v2
• Date: Fri, 23 May 2025 08:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.395327
• Title: Enhancing Large-Scale AI Training Efficiency: The C4 Solution for Real-Time Anomaly Detection and Communication Optimization
• Title（参考訳）: 大規模AIトレーニング効率の向上:リアルタイム異常検出と通信最適化のためのC4ソリューション
• Authors: Jianbo Dong, Bin Luo, Jun Zhang, Pengcheng Zhang, Fei Feng, Yikai Zhu, Ang Liu, Zian Chen, Yi Shi, Hairong Jiao, Gang Lu, Yu Guan, Ennan Zhai, Wencong Xiao, Hanyu Zhao, Man Yuan, Siran Yang, Xiang Li, Jiamang Wang, Rui Men, Jianwei Zhang, Chang Zhou, Dennis Cai, Yuan Xie, Binzhang Fu,
• Abstract要約: 大規模言語モデル(LLM)は、分散トレーニング技術の導入を必要としている。 大規模分散トレーニングシステムの効率は、ハードウェアエラーの可能性があるため、しばしば最適以下である。 通信駆動型ソリューション,すなわちC4を提案する。
• 参考スコア（独自算出の注目度）: 43.221960440957034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of Large Language Models (LLMs) has necessitated the adoption of distributed training techniques, involving the deployment of thousands of GPUs to train a single model. Unfortunately, the efficiency of large-scale distributed training systems is often suboptimal due to the increased likelihood of hardware errors in high-end GPU products and the heightened risk of network traffic collisions. Moreover, any local hardware failure can disrupt training tasks, and the inability to swiftly identify faulty components leads to a significant waste of GPU resources. And, prolonged communication due to traffic collisions can substantially increase GPU waiting times. To address these challenges, we propose a communication-driven solution, namely the C4. The key insights of C4 are twofold. First, the load in distributed training exhibits homogeneous characteristics and is divided into iterations through periodic synchronization, therefore hardware anomalies would incur certain syndrome in collective communication. By leveraging this feature, C4 can rapidly identify the faulty components, swiftly isolate the anomaly, and restart the task, thereby avoiding resource wastage caused by delays in anomaly detection. Second, the predictable communication model of collective communication, involving a limited number of long-lived flows, allows C4 to efficiently execute traffic planning, substantially reducing bandwidth competition among these flows. The C4 has been extensively deployed across real-world production systems in a hyperscale cloud provider, yielding a significant improvement in system efficiency, from 30% to 45%. This enhancement is attributed to a 30% reduction in error-induced overhead and a 15% reduction in communication costs.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、単一のモデルをトレーニングするために数千のGPUをデプロイすることを含む、分散トレーニング技術の採用を必要としている。 残念なことに、大規模分散トレーニングシステムの効率は、ハイエンドGPU製品におけるハードウェアエラーの増加と、ネットワークトラフィック衝突のリスクの増大により、亜最適であることが多い。 さらに、ローカルハードウェアの障害によってトレーニングタスクが破壊される可能性があり、欠陥コンポーネントを迅速に特定できないため、GPUリソースの浪費が大幅に削減される。 また、交通衝突による通信の延長はGPU待ち時間を大幅に増加させる可能性がある。 これらの課題に対処するため、通信駆動型ソリューション、すなわちC4を提案する。 C4の重要な洞察は2つある。 まず、分散トレーニングにおける負荷は均質な特性を示し、周期的同期によって繰り返しに分割されるため、ハードウェア異常は集団通信において特定の症候群を引き起こす。 この機能を利用することで、C4は欠陥コンポーネントを迅速に識別し、異常を迅速に分離し、タスクを再起動し、異常検出の遅延によるリソースの浪費を回避することができる。 第二に、長期フローの限られた数を含む集団通信の予測可能な通信モデルにより、C4はトラフィック計画の効率的な実行を可能にし、これらのフロー間の帯域幅の競合を著しく低減する。 C4は、ハイパースケールクラウドプロバイダの実際のプロダクションシステムに広くデプロイされており、システム効率が30%から45%に大幅に改善されている。 この強化は、エラーによるオーバーヘッドの30%削減と通信コストの15%削減に起因する。

関連論文リスト

• Caching Techniques for Reducing the Communication Cost of Federated Learning in IoT Environments [2.942616054218564]
  フェデレートラーニング(FL)は、複数のデバイスがデータを集中せずに共有モデルを共同でトレーニングすることを可能にする。 本稿では、不必要なモデル更新送信を減らすために、キャッシュ戦略(FIFO、LRU、プライオリティベース)を紹介する。
  論文  参考訳（メタデータ） (2025-07-19T17:02:15Z)
• A Multi-task Supervised Compression Model for Split Computing [4.234757989234096]
  分散コンピューティングは、リソース制約のあるエッジコンピューティングシステムのためのディープラーニングモデルに対する有望なアプローチである。 マルチタスクスプリットコンピューティングのための最初のマルチタスク型教師付き圧縮モデルであるLadonを提案する。 我々のモデルはマルチタスクスプリットコンピューティングシナリオにおいて、エンドツーエンドのレイテンシ(最大95.4%)とモバイルデバイスのエネルギー消費(最大88.2%)を削減した。
  論文  参考訳（メタデータ） (2025-01-02T18:59:05Z)
• Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
  産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。 本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。 提案手法の有効性を数値解析により検証した。
  論文  参考訳（メタデータ） (2024-11-04T17:48:02Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• Event-Triggered Reinforcement Learning Based Joint Resource Allocation for Ultra-Reliable Low-Latency V2X Communications [10.914558012458425]
  6G対応車載ネットワークは、安全クリティカルな情報をタイムリーに提供するための低遅延通信(URLLC)を確保するという課題に直面している。 車両間通信システム(V2X)の従来のリソース割り当てスキームは、従来の復号法に基づくアルゴリズムに依存している。
  論文  参考訳（メタデータ） (2024-07-18T23:55:07Z)
• FedsLLM: Federated Split Learning for Large Language Models over Communication Networks [30.47242577997792]
  本稿では,低ランク適応技術 (LoRA) と分割学習フレームワークを組み合わせることで,大規模言語モデル (FedsLLM) のためのフェデレーション分割学習を提案する。 提案アルゴリズムは、最適化されていないシナリオと比較して平均47.63%遅延を削減する。
  論文  参考訳（メタデータ） (2024-07-12T13:23:54Z)
• ReCycle: Resilient Training of Large DNNs using Pipeline Adaptation [2.0181279529015925]
  ReCycleは、障害発生時の効率的なトレーニング用に設計されたシステムである。 分散トレーニングシステムに固有の機能的冗長性を活用する。 複数の障害で高いトレーニングスループットを実現していることを示す。
  論文  参考訳（メタデータ） (2024-05-22T21:35:56Z)
• QUIK: Towards End-to-End 4-Bit Inference on Generative Large Language Models [57.04178959678024]
  重み付けとアクティベーションの両方を4ビットにキャストすることで、大きな生成モデルに対する推論計算の大部分が実行可能であることを示す。 これをQUIKと呼ばれるハイブリッド量子化戦略により実現し、重みとアクティベーションの大部分を4ビットに圧縮する。 我々は、QUIKフォーマットを高効率なレイヤワイドランタイムに適合させるGPUカーネルを提供し、これにより、エンドツーエンドのスループットが3.4倍に向上する。
  論文  参考訳（メタデータ） (2023-10-13T17:15:05Z)
• High Throughput Training of Deep Surrogates from Large Ensemble Runs [38.018735015291156]
  ディープサロゲートは一般的に、加速しようとする同じソルバによってゆっくりと生成される限られた量のデータから教師付き方法で訓練される。 シミュレーションの大規模な実行から,これらのモデルのオンライントレーニングを可能にするオープンソースフレームワークを提案する。 熱方程式のサロゲートとして完全に接続されたネットワークのトレーニング実験により,提案手法により,従来のオフライン手順に比べて精度が47%向上し,バッチスループットが13倍向上した8TBのデータを2時間でトレーニングすることが可能となった。
  論文  参考訳（メタデータ） (2023-09-28T09:34:52Z)
• SWARM Parallelism: Training Large Models Can Be Surprisingly Communication-Efficient [69.61083127540776]
  ディープラーニングアプリケーションは、数十億のパラメータを持つ大きなモデルを使用することの恩恵を受ける。 これらのモデルのトレーニングは、特殊なHPCクラスタを必要とするため、非常に高価である。 安価な"プリエンプティブル"インスタンスを使用するか、あるいは複数のリージョンから既存のリソースをプールする。
  論文  参考訳（メタデータ） (2023-01-27T18:55:19Z)
• Fair and Efficient Distributed Edge Learning with Hybrid Multipath TCP [62.81300791178381]
  無線による分散エッジ学習のボトルネックは、コンピューティングから通信へと移行した。 DEL用の既存のTCPベースのデータネットワークスキームは、アプリケーションに依存しず、アプリケーション層要求に応じて調整を施さない。 DELのためのモデルベースと深部強化学習(DRL)に基づくMP TCPを組み合わせたハイブリッドマルチパスTCP(MP TCP)を開発した。
  論文  参考訳（メタデータ） (2022-11-03T09:08:30Z)
• Implementing Reinforcement Learning Datacenter Congestion Control in NVIDIA NICs [64.26714148634228]
  渋滞制御 (CC) アルゴリズムの設計は非常に困難になる。 現在、計算能力に制限があるため、ネットワークデバイスにAIモデルをデプロイすることはできない。 我々は,近年の強化学習CCアルゴリズムに基づく計算軽度解を構築した。
  論文  参考訳（メタデータ） (2022-07-05T20:42:24Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Communication-Efficient TeraByte-Scale Model Training Framework for Online Advertising [32.5337643852876]
  CTR(Click-Through Rate)予測は、オンライン広告業界において重要な要素である。 大規模な広告モデルのための既存のGPUトレーニングにおける2つの大きな課題を特定します。 ハードウェアトポロジをアルゴリズム設計に結合するハードウェア対応トレーニングワークフローを提案する。
  論文  参考訳（メタデータ） (2022-01-05T18:09:11Z)
• Accelerating Distributed K-FAC with Smart Parallelism of Computing and Communication Tasks [13.552262050816616]
  Kronecker-Factored Approximate Curvature (KFAC)は、深層モデルのトレーニングにおいて最も効率的な近似アルゴリズムの1つである。 しかし、KFACでモデルをトレーニングするためにGPUクラスタを活用すると、大規模な計算が発生すると同時に、イテレーション毎に余分な通信が導入される。 そこで我々は,D-KFACを提案する。
  論文  参考訳（メタデータ） (2021-07-14T08:01:07Z)
• Sparse-Push: Communication- & Energy-Efficient Decentralized Distributed Learning over Directed & Time-Varying Graphs with non-IID Datasets [2.518955020930418]
  Sparse-Pushはコミュニケーション効率の高い分散型トレーニングアルゴリズムである。 提案アルゴリズムは,通信性能がわずか1%の466倍の低減を実現する。 非IIDデータセットのケースにおいて,通信圧縮が性能を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2021-02-10T19:41:11Z)
• Revisiting Locally Supervised Learning: an Alternative to End-to-end Training [36.43515074019875]
  そこで我々は,情報伝達(InfoPro)損失を提案する。ローカルモジュールが可能な限り有用な情報を保存することを奨励する。 E2E トレーニングと比較して,InfoPro は 40% 未満のメモリフットプリントで競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T15:02:18Z)
• Distributed Sparse SGD with Majority Voting [5.32836690371986]
  分散学習のための分散コミュニケーション戦略として,多数決に基づく疎間コミュニケーション戦略を導入する。 テスト精度を損なうことなく,最大x4000圧縮を達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-12T17:06:36Z)
• Optimizing Mixed Autonomy Traffic Flow With Decentralized Autonomous Vehicles and Multi-Agent RL [63.52264764099532]
  本研究では、完全分散制御方式を用いて、混合自律環境でのボトルネックのスループットを向上させる自動運転車の能力について検討する。 この問題にマルチエージェント強化アルゴリズムを適用し、5%の浸透速度で20%から40%の浸透速度で33%までのボトルネックスループットの大幅な改善が達成できることを実証した。
  論文  参考訳（メタデータ） (2020-10-30T22:06:05Z)
• Straggler-aware Distributed Learning: Communication Computation Latency Trade-off [56.08535873173518]
  ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。 既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。 このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
  論文  参考訳（メタデータ） (2020-04-10T08:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。