Fugu-MT 論文翻訳(概要): Coordination-Free Workload Regularization for Variable-Cost Distributed Training

論文の概要: Coordination-Free Workload Regularization for Variable-Cost Distributed Training

arxiv url: http://arxiv.org/abs/2610.21162v1
Date: Thu, 15 Oct 2026 03:22:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-16 19:13:16.157947
Title: Coordination-Free Workload Regularization for Variable-Cost Distributed Training
Title（参考訳）: 可変コスト分散トレーニングのためのコーディネーションフリーワークロード正規化
Abstract要約: Batch Cost Lookaheadはコーディネーションフリーのデータローディングポリシーである。 1ランク当たりのバッチコストの変動を82.8%まで削減する。 13のNeMo-RL SFTコーパスで、ランクローカライズされたBCLはMFFDの1.050から1.167倍の速度で動作している。
参考スコア（独自算出の注目度）: 8.288893251598653
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Synchronous data-parallel training usually assigns every rank the same number of records, even when record costs vary by orders of magnitude. For variable-length models, this converts input variation into idle time because each step waits for its most expensive rank-local batch. We present Batch Cost Lookahead (BCL), a coordination-free data-loading policy that buffers a bounded rank-local window and repartitions it into fixed-cardinality packs with balanced estimated cost. BCL preserves the trainer's record-count contract and requires neither cross-rank metadata exchange nor runtime modification. In simulation over public workload distributions, enabling BCL reduces per-rank estimated batch-cost variability by up to 82.8%. Across 13 NeMo-RL SFT corpora on eight H200 GPUs, rank-local BCL runs 1.050 to 1.167 times faster than pooled MFFD. Compiled H200 measurements on an internal sequence workload show speedups of 1.197 to 1.343 times over packed execution from one to four nodes. We also identify a memory-feasibility boundary: a p99 cap for high-variance or OOM-prone data bounds outliers before BCL balances the rest. These results show that substantial variable-cost imbalance can be removed at the data-loader boundary, while clarifying when data preparation or broader coordination is still necessary.
Abstract（参考訳）: 同期データ並列トレーニングは通常、記録コストが桁違いに異なる場合でも、すべてのランクに同じ数のレコードを割り当てる。可変長モデルでは、各ステップが最も高価なランク局所バッチを待つため、入力のバリエーションをアイドル時間に変換する。本稿では,Batch Cost Lookahead(BCL)を提案する。これは座標自由なデータローディングポリシーで,有界な局部ウィンドウをバッファリングし,バランスの取れた推定コストで固定心電図パックに再分割する。 BCLは、トレーナーのレコードカウント契約を保持し、クロスランクなメタデータ交換やランタイム修正を必要としない。公共のワークロード分布のシミュレーションでは、BCLが予測されるバッチコストの変動率を82.8%まで削減できる。 8つのH200 GPU上の13のNeMo-RL SFTコーパスに対して、ランクローカライズされたBCLはMFFDよりも1.050から1.167倍高速である。内部シーケンスのワークロードのコンパイルされたH200測定では、1から4ノードの満載実行で1.197から1.343倍のスピードアップを示した。 BCLが残余のバランスをとる前に、高分散データやOOM-proneデータのバウンダリをバウンダリとするp99キャップのメモリ実現可能性境界も同定する。これらの結果から,データ・ローダ・バウンダリでかなりの変動コストの不均衡を解消できることを示すとともに,データ準備やより広範な調整が必要かを明らかにした。

関連論文リスト

BARTER: Compact Dynamic Sparse Training with Standard Dense Kernels [8.051325206834795]
ダイナミックスパーストレーニング(DST)は、精度を維持しながらトレーニングコストを削減することを目的としている。 BARTERは、標準の高密度カーネルを使用したトレーニングコストを削減する構造化DSTフレームワークである。 NVIDIA L40では、BARTERは測定されたトレーニングセグメントで最大6.29タイムのスピードアップを達成している。
論文参考訳（メタデータ） (2026-10-12T04:10:03Z)
CoTrace: Data Recipes for Training Terminal Agents with Harness-Model Co-Evolution [68.76788820731048]
CoTraceは、トラジェクトリルーティング、プロファイランスマッチング、リフレッシュを管理するハーネス対応のデータレシピである。コンパクトなハーネス整合コーパスは、兄弟ハーネスにまたがるより大きなコーパスよりも、かなり低い計算で安定したモデルゲインを生成することを示す。
論文参考訳（メタデータ） (2026-10-07T17:06:59Z)
SquidAgent: Parallelize Wisely, Coordinate Efficiently [66.64544354706031]
LLMベースのエージェントは複雑なマルチステップタスクを解決するが、シーケンシャルな実行にはかなりの遅延が発生する。クリティカルパスコストに加えて、再探索とアライメントオーバーヘッドが対応するシリアルコストよりも低い場合にのみ、レイヤを並列化すべきである。 SquidAgentは平均スループット2.2$times$、平均スループット2.6$times$、最強のマルチエージェントベースラインよりも2.0$times$のスループット改善を実現している。
論文参考訳（メタデータ） (2026-10-06T16:35:28Z)
Behavioral Capacity Certificates for Quantized Language Models [18.639735118389186]
行動能力証明書(BCC)は、完全な実装の前の総量を用いて行動に課金する。 BCCは3段階のデプロイメントワークフローをサポートします。
論文参考訳（メタデータ） (2026-09-29T15:55:30Z)
From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文参考訳（メタデータ） (2026-09-01T17:39:26Z)
Not Every Sync Is Safe: Calibrated DiLoCo Scheduling for Shared AI Infrastructure [6.71937346130764]
DiLoCoスタイルのトレーニングは、時折外部同期の前に島々をローカルに列車に乗せることで通信を減らします。このような船体に対する疑問は、外部マージがシステムコストに見合う価値があるのか、そして、事項を遅らせるためにエフェロウィンドウを選択するかどうかである。このギャップを、スコアベースのコントローラであるWorkloadAware DiLoCoで埋めます。
論文参考訳（メタデータ） (2026-06-24T05:57:19Z)
Scaling Laws for Agent Harnesses via Effective Feedback Compute [53.68149869349268]
emphEffective Feedback Compute (EFC)は、情報的、有効、非冗長な場合にのみフィードバックを信用し、その後の決定のために保持するトレースレベルのスケーリング座標である。 EFCベースの座標は、生の計算ベースラインよりも失敗率を常に予測する。
論文参考訳（メタデータ） (2026-05-28T09:45:47Z)
Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving [9.457255218406333]
プロダクションvLLMフリートは通常、最悪のコンテキスト長に対して各インスタンスをプロビジョニングする。実際には、80-95%のリクエストは短いが、長いコンテキストに最適化された設定の下で提供される。本稿では,同種艦隊を2つの専用プールに分割する軽量ディスパッチ機構であるデュアルプールトークン予算ルーティングを提案する。
論文参考訳（メタデータ） (2026-04-09T10:47:20Z)
SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
論文参考訳（メタデータ） (2026-03-24T16:48:31Z)
Hierarchical Balance Packing: Towards Efficient Supervised Fine-tuning for Long-Context LLM [49.2709992932292]
長期コンテキスト大規模言語モデル(LLM)のトレーニングは、長期コンテキストと短コンテキストデータによるハイブリッドトレーニングが、ワークロードの不均衡につながることが多いため、難しい。既存の作業では、主にデータパッキングを使用してこの問題を軽減するが、不均衡な注意計算や通信オーバーヘッドの無駄を考慮できない。本稿では,これらの非効率性に対処する新しいバッチ構築法とトレーニングレシピを設計する階層的バランスパッキング(HBP)を提案する。
論文参考訳（メタデータ） (2025-03-10T10:52:50Z)
Accelerating Distributed ML Training via Selective Synchronization [0.0]
textttSelSyncは、DNNトレーニングの実践的で低オーバーヘッドな方法であり、各ステップでコミュニケーションを発生または回避することを動的に選択する。トレーニング時間を最大14$times$まで短縮しながら,BSPと同等あるいはより優れた精度に収束する。
論文参考訳（メタデータ） (2023-07-16T05:28:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。