論文の概要: LoCoJAX: Host-Local Coordination for Small-Model RL on TPUs
- arxiv url: http://arxiv.org/abs/2611.16301v1
- Date: Thu, 12 Nov 2026 04:56:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.363602
- Title: LoCoJAX: Host-Local Coordination for Small-Model RL on TPUs
- Title(参考訳): LoCoJAX: TPU上での小型RLのためのホストローカルコーディネーション
- Abstract要約: Local Coordination JAXは各TPUホスト上で,同期グローバルトレーニングによるローカルロールアウトと報酬処理を実装している。
調整され最適化されたPathwaysベースラインに対する制御された比較では、そのコロケーションモード(LoCoJAX-CO)は1ステップあたり1.3-3.6倍高速である。
Ray-Managed Disaggregated Mode (LoCoJAX-DA)は、ロールアウトと異なるホストでのトレーニングを重複させ、配置実験は、それが重複するときに確立される。
- 参考スコア(独自算出の注目度): 26.65996972304274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) increasingly targets small language models, and executing these workloads efficiently across multiple accelerators requires effective coordination. On TPUs, Pathways-based RL uses a single controller to coordinate computation across hosts. This execution model is effective for large models, but its coordination computational costs are harder to amortize when small models repeatedly invoke short computations. To characterize these computational costs, we sweep dense models from 0.6B to 405B parameters on TPU v7x under a decode-heavy workload and measure how host and network computational overhead vary with model size. At 0.6B, host orchestration occupies 36% of step time and network communication 2%, whereas for large models, estimated network computational costs dominate the non-compute time. Motivated by these findings, we present Local Coordination JAX (LoCoJAX), which implements local rollout and reward processing on each TPU host with synchronous global training. In controlled comparisons against a tuned and optimized Pathways baseline on Qwen3-0.6B across three workloads and 8-64 TPU v7x chips, its colocated mode (LoCoJAX-CO) is 1.3-3.6x faster per step; on GSM8K, it completes a step faster on 8 chips than Pathways does on 64. Finally, a Ray-managed disaggregated mode (LoCoJAX-DA) overlaps rollout and training on separate hosts, and placement experiments establish when this overlap compensates for dividing devices and transferring weights: only when rollout dominates the step and receives most of the hosts. On NuminaMath-CoT at 256 chips, giving rollout 75% of hosts cuts step time by about 15% compared with LoCoJAX-CO.
- Abstract(参考訳): 強化学習(RL)は、より小さな言語モデルをターゲットにし、複数のアクセラレータでこれらのワークロードを効率的に実行するには、効果的な調整が必要である。
TPUでは、PathwaysベースのRLは単一のコントローラを使用してホスト間の計算を調整する。
この実行モデルは大規模モデルに有効であるが、その調整計算コストは、小型モデルが短時間の計算を繰り返し実行した場合に補正が困難である。
これらの計算コストを特徴付けるため、デコード重負荷下でTPU v7xの0.6Bから405Bパラメータの高密度モデルを網羅し、ホストとネットワークの計算オーバーヘッドがモデルサイズによってどのように変化するかを測定する。
0.6Bのホストオーケストレーションでは、ステップタイムとネットワーク通信の36%を占めており、大規模なモデルでは、推定されたネットワーク計算コストが非計算時間を支配している。
これらの知見により,各TPUホストにローカルロールアウトと報酬処理を実装したローカルコーディネーションJAX(LoCoJAX)を,同期グローバルトレーニングで提供する。
3つのワークロードと8-64 TPU v7xチップにまたがるQwen3-0.6Bベースラインと8-64 TPU v7xチップで調整されたパスウェイズの制御比較では、そのコロケーションモード(LoCoJAX-CO)は1ステップあたり1.3-3.6倍高速である。
最後に、Ray-Managed Disaggregated Mode (LoCoJAX-DA)は、別々のホスト上でのロールアウトとトレーニングをオーバーラップし、このオーバーラップがデバイス分割とウェイト転送を補うときに、配置実験が成立する。
256チップのNuminaMath-CoTでは、ホストの75%のロールアウトが、LoCoJAX-COと比較して、ステップタイムを約15%短縮する。
関連論文リスト
- ArcTN: Efficient Tensor-Network Contraction Planning for Quantum Circuit Simulation [23.264027196847973]
提案するArcTNは,2つの検索プリセットを持つ制約順序最適化フレームワークである。
どちらもランダム化グレディ構成、サブツリー再構成、およびステージ固有の停止規則と並列テンパリングを組み合わせたものである。
光はFLOPを61.32%削減し、コテングラ・オート/CMA-ESより1.62$times$、ヘビーは43.83%削減し、コテングラ・オート本社/オプトゥナより7.21$times$速くする。
論文 参考訳(メタデータ) (2026-10-22T16:58:31Z) - RepTC: Representation-Aware Optimization for Efficient Traffic Classification on Edge IoT Devices [2.4779082385578337]
本稿では,セッションレベルのトラフィック分類に対処する表現型ハードウェア制約戦略であるRepTCを提案する。
提案手法は、メモリ、モデルサイズ、計算に関するマイクロコントローラクラス制約を適用し、低消費電力エッジデバイスにデプロイ可能なコンパクトモデルを生成する。
その結果,表現認識による最適化は,競争力のある分類性能を維持しながら効率を向上できることがわかった。
論文 参考訳(メタデータ) (2026-10-03T21:53:01Z) - ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search [54.43696074323815]
ZGCM-1は、極端なデータ、システム、アルゴリズムの効率でゼロから訓練された、完全にオープンな7Bファンデーションモデルである。
エージェントがクラスタ操作を自律的に管理する、AIネイティブなR&Dワークフローを確立します。
ZGCM-1-7Bは一般的なベンチマークで7Bモデルファミリ間で競合する。
論文 参考訳(メタデータ) (2026-09-11T17:18:04Z) - SoRoMoX: Fast, Differentiable, and Parallelizable Soft Robot Models [40.64972837908431]
SoRoMoXは、統一された制御可能なインターフェースを通じて、明瞭な、Piecewise Constant Strain、および可変ストレインモデルを実装している。
連続したCPUロールアウトは最先端の代替よりも18.1倍速く、GPU並列ロールアウトはスループットを最大234.6倍向上させる。
論文 参考訳(メタデータ) (2026-08-06T23:31:47Z) - Agora: Collective and Permissionless Internet-Scale Pretraining of Large Language Models [50.733497395381164]
Agoraは、インターネットグレードリンク上の帯域効率の高いパイプライン並列モデルシャーディングと、複数パーティのフォールトトレラントな集団操作を組み合わせる。
Pluralis-8BはFineWeb-Eduの500Bトークン上の8.6B-パラメータモデルのオープンで無許可の事前トレーニング実行である。
論文 参考訳(メタデータ) (2026-07-14T23:32:18Z) - SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。
SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。
LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
論文 参考訳(メタデータ) (2026-03-24T16:48:31Z) - MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling [80.48332380100915]
MiniCPM-SALAは、疎注意の高忠実長文モデリングと線形注意のグローバル効率を統合するハイブリッドモデルである。
1つのNVIDIA A6000D GPUでは、256Kトークンのシーケンス長におけるフルアテンションモデルの推論速度が3.5倍に達する。
論文 参考訳(メタデータ) (2026-02-12T09:37:05Z) - RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。
分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
論文 参考訳(メタデータ) (2025-12-27T11:14:23Z) - EQuARX: Efficient Quantized AllReduce in XLA for Distributed Machine Learning Acceleration [3.757632817011334]
TPU用のXLAコンパイラ(EQuarX)内で、ネイティブな動的ブロックワイドな量子化AllReduceを提案する。
TPUフレンドリーな量子化と通信と計算の深いパイプライン化により、t8精度のEQuARXはベースラインのBF16 AllReduceよりも1.8倍のスピードアップを達成する。
論文 参考訳(メタデータ) (2025-06-21T06:54:52Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45~9.39倍の高速化を実現可能であることを示す。
論文 参考訳(メタデータ) (2024-10-16T16:13:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。