論文の概要: DBLP: Phase-Aware Bounded-Loss Transport for Burst-Resilient Distributed ML Training

• arxiv url: http://arxiv.org/abs/2605.01989v1
• Date: Sun, 03 May 2026 17:47:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.033108
• Title: DBLP: Phase-Aware Bounded-Loss Transport for Burst-Resilient Distributed ML Training
• Title（参考訳）: DBLP:Burst-Resilient Distributed MLトレーニングのための相認識境界損失輸送
• Abstract要約: モデルレベルの耐性特性を勾配通信に組み込んだバーストレジリエントトランスポートプロトコルである動的境界ロスプロトコル(DBLP)を提案する。 現在の最先端ソリューション(ベースライン)と比較して、DBLPは、同等のテスト精度を達成しながら、かなり高い損失を許容します。 マイクロバーストイベントでは、DBLPはベースライン上での通信遅延の最大5.88倍のスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 0.44438823733883476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed machine learning (ML) training has become a necessity with the prevalence of billion to trillion-parameter-scale models. While prior work has improved training efficiency from the ML perspective at the application layer, it often fails to address transient congestion events at the network layer that introduce severe tail latency and training-time variability, thereby undermining the quality of service (QoS) of distributed ML training systems. Existing network optimizations treat all gradients equally and thus fail to integrate sufficient model-training insights into communication protocol design. In this paper, we present Dynamic Bounded-Loss Protocol (DBLP), a burst-resilient, training-phase-aware, and hardware-agnostic transport protocol that incorporates model-level tolerance properties into gradient communication. By dynamically adjusting gradient loss tolerance across training phases, DBLP reduces overall training time and mitigates tail-latency collapse during transient high-loss events (i.e., microbursts). Compared to the current state-of-the-art solution (baseline), DBLP tolerates significantly higher loss while achieving comparable test accuracy, and reduces end-to-end training time by an average of 24.4% and a maximum of 33.9%. At microburst events, DBLP achieves up to 5.88x single-round communication latency speedups over the baseline, preventing burst-induced tail-latency spikes and maintaining stable training performance.
• Abstract（参考訳）: 分散機械学習(ML)トレーニングは、数十億から1兆のパラメータスケールのモデルが普及するにつれて必要となっている。 以前の作業では、アプリケーション層におけるMLの観点からのトレーニング効率の改善があったが、厳しいテールレイテンシとトレーニング時間の変動をもたらすネットワーク層における過度な混雑イベントに対処できず、分散MLトレーニングシステムの品質(QoS)を損なうことが多かった。 既存のネットワーク最適化はすべての勾配を等しく扱うため、通信プロトコル設計に十分なモデル学習の洞察を統合することができない。 本稿では,モデルレベルの耐性特性を勾配通信に組み込んだ,バーストレジリエント,トレーニングフェーズ認識,ハードウェアに依存しないトランスポートプロトコルである,動的バウンド・ロスプロトコル(DBLP)を提案する。 トレーニングフェーズ間の勾配損失耐性を動的に調整することにより、DBLPは全体的なトレーニング時間を短縮し、一過性の高損失事象(マイクロバースト)におけるテールレイテンシー崩壊を緩和する。 現在の最先端のソリューション(ベースライン)と比較すると、DBLPは同等のテスト精度を達成しながら、はるかに高い損失を許容し、エンドツーエンドのトレーニング時間を平均24.4%、最大33.9%削減する。 マイクロバーストイベントでは、DBLPはベースライン上で最大5.88倍の単一ラウンドの通信遅延スピードアップを実現し、バースト誘起テールレイテンシのスパイクを防止し、安定したトレーニング性能を維持する。

関連論文リスト

• Don't Drop Dropout: Optimizing Layer Sparsity for Efficient LLM Training and Inference [15.267768829315408]
  より高速なトレーニングと高精度を実現するために、レイヤのドロップアウトが示されている。 レイヤーのドロップアウトは、レシピを事前学習する大きな言語モデルからほとんど姿を消している。 現状のLLMトレーニングでは,レイヤのドロップアウトが有用であることを示す。
  論文  参考訳（メタデータ） (2026-09-04T15:30:47Z)
• SNIP: An Adaptive Mixed Precision Framework for Subbyte Large Language Model Training [5.341188930460575]
  現在の混合精度トレーニングアプローチは、すべてのGEMM操作に均一な精度を適用するか、トレーニング中に一般化に失敗する手法に依存するかのどちらかである。 本稿では,サブバイト精度をサポートするLSMプレトレーニングのための微粒化適応型混合精度学習フレームワークSNIPを紹介する。 1B, 3B, 7B, 70B Llamaのようなモデルに対する実験は、SNIPが既存のベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-02-01T19:34:27Z)
• Plug-and-Play Homeostatic Spark: Zero-Cost Acceleration for SNN Training Across Paradigms [40.57310813106791]
  スパイキングニューラルネットワークは、イベント駆動計算、スパースアクティベーション、ハードウェア効率を提供するが、トレーニングはしばしばゆっくりと収束し、安定性に欠ける。 AHSAR(Adaptive Homeostatic Spiking Activity Regulation)は,超簡易なプラグインおよびトレーニングパラダイムである。 AHSARは最適化を安定化し、モデルアーキテクチャや損失、勾配を変更することなく収束を加速する。
  論文  参考訳（メタデータ） (2025-12-04T17:26:46Z)
• SPEQ: Offline Stabilization Phases for Efficient Q-Learning in High Update-To-Data Ratio Reinforcement Learning [51.10866035483686]
  強化学習(RL)における高アップデート・トゥ・データ(UTD)比のアルゴリズムは、サンプル効率を改善するが、高い計算コストを伴い、現実世界のスケーラビリティを制限している。 我々は、低UTDオンライントレーニングと周期的オフライン安定化フェーズを組み合わせたRLアルゴリズムである、効率的なQ-Learningのためのオフライン安定化フェーズ(SPEQ)を提案する。 これらのフェーズでは、Q-関数は固定されたリプレイバッファ上で高いUTD比で微調整され、サブ最適データの冗長な更新が削減される。
  論文  参考訳（メタデータ） (2025-01-15T09:04:19Z)
• SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training [60.9776082805359]
  大規模言語モデル(LLM)は、様々なタスクにまたがる例外的なパフォーマンスを示しているが、そのトレーニングは、非常にリソース集約的で、トレーニングの不安定性に影響を受けやすいままである。 本稿では,LLMトレーニング中に観測された勾配スパイクを包括的に調査し,複数のアーキテクチャやデータセットにまたがる傾向を明らかにする。 本稿では,モーメントムリセットを用いたスパイク・アウェア・アダムを提案し,モーメントムリセットとスパイク・アウェア・クリッピングによる勾配スパイク対策について述べる。
  論文  参考訳（メタデータ） (2025-01-12T15:21:22Z)
• AB-Training: A Communication-Efficient Approach for Distributed Low-Rank Learning [0.07227323884094951]
  ABトレーニングは、低ランク表現と独立したトレーニンググループを活用して通信オーバーヘッドを低減する新しいデータ並列手法である。 実験では,様々なスケーリングシナリオにおいて,ネットワークトラフィックの約70.31%が平均で減少することを示した。
  論文  参考訳（メタデータ） (2024-05-02T07:49:28Z)
• Efficient Stagewise Pretraining via Progressive Subnetworks [53.00045381931778]
  一般的な見方では、レイヤのドロップのような段階的なドロップ戦略は、スタック方式のアプローチと比べて効果がない。 本稿では, 適切な設計で, 戦略の廃止は, 積み重ね手法よりも競争力があることを示すことによって, この概念に挑戦する。 本稿では,各ステップでランダムサブネットワークのみを選択し,訓練し,段階的に拡大するランダムパートトレーニング(RAPTR)を提案する。
  論文  参考訳（メタデータ） (2024-02-08T18:49:09Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [62.932299614630985]
  本稿では, アクティベーション, ウェイト, 勾配の精度を徐々に向上させる, プログレッシブ分数量子化を統合したFracTrainを提案する。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Predicting Training Time Without Training [120.92623395389255]
  我々は、事前訓練された深層ネットワークが損失関数の所定の値に収束する必要がある最適化ステップの数を予測する問題に取り組む。 我々は、微調整中の深部ネットワークのトレーニングダイナミクスが線形化モデルによってよく近似されているという事実を活用する。 トレーニングをする必要なく、特定の損失にモデルを微調整するのに要する時間を予測できます。
  論文  参考訳（メタデータ） (2020-08-28T04:29:54Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。