論文の概要: NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale
- arxiv url: http://arxiv.org/abs/2610.08430v1
- Date: Tue, 06 Oct 2026 14:30:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.042365
- Title: NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale
- Title（参考訳）: NeMo-DCR:Trillion-ParameterスケールにおけるスケーラブルエージェントRLのビット励起デルタ圧縮調整
- Abstract要約: エージェント強化学習(RL)はロールアウトからトレーニングを分離するので、各ポリシ更新は次のバッチの前にロールアウトクラスタに到達する必要がある。
我々はNeMo-DCR(Delta-Compressed Refit)を提案する。
正確には、圧縮可能なXORマスクは、プロジェクションとローダが格納されたビットを保存するアフィン変化を持ち、オーバーライトは他のものを運ぶ。
- 参考スコア（独自算出の注目度）: 14.326482511071072
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic reinforcement learning (RL) disaggregates training from rollout, so each policy update must reach the rollout clusters before the next batch. Transferring a full 1T checkpoint for such weight synchronization (refit) takes 87.5 min between two AWS regions. Measurements of BF16 training show that about 1% of weights change their stored values per step. Recent systems exploit this sparsity but fall short on placement, exactness, or efficiency: they reimplement placement rules, assemble full tensors, rebuild values arithmetically, or use a cross-cluster collective, and none fully recovers from mid-refit failures. We present NeMo-DCR (Delta-Compressed Refit), which sends only changes yet is bit-exact: receivers obtain the same parameter and buffer bits as a dense refit. For placement, fixed affine mappings project changes from training shards into the checkpoint's canonical coordinates, residual conversion covers the other changes, and the serving runtime's native loader places all changes in receiver storage. For exactness, compressible XOR masks carry affine changes whose projection and loader preserve stored bits, and overwrites carry the others. Receivers apply both in place, retries overwrite partial writes, and a joint commit binds the policy to the baseline for the next delta. For efficiency, object storage or a relay tree streams payloads during delta construction, without a cross-cluster collective. Even at 3% and 5% change rates, NeMo-DCR refits of 30B-1T models are 12-40$\times$ faster than a transport-only full-checkpoint reference. A 1T relay-tree refit at 3% takes 150 s instead of 87.5 min, making refits practical for cross-cluster agentic RL at trillion-parameter scale.
- Abstract（参考訳）: エージェント強化学習(RL)はロールアウトからトレーニングを分離するので、各ポリシ更新は次のバッチの前にロールアウトクラスタに到達する必要がある。
このような重み同期(リフィット)のために完全な1Tチェックポイントを転送するには、2つのAWSリージョン間で87.5分かかる。
BF16トレーニングの測定では、重量の約1%がステップ毎に格納された値を変化させている。
配置ルールを再実装したり、フルテンソルを組み立てたり、値を算術的に再構築したり、クラスタをまたいだ集合体を使ったりし、中規模の故障から完全に回復することはない。
我々は,NeMo-DCR (Delta-Compressed Refit) を提案する。
配置に関して、固定アフィンマッピングはプロジェクトの変更を、トレーニングシャードからチェックポイントの標準座標への変更、残りの変換は他の変更をカバーし、サービスランタイムのネイティブローダは、すべての変更をレシーバストレージに配置する。
正確には、圧縮可能なXORマスクは、プロジェクションとローダが格納されたビットを保存するアフィン変化を持ち、オーバーライトは他のものを運ぶ。
受信側は両方適用し、部分書き込みを上書きしたリトライをリトライし、ジョイントコミットは次のデルタのベースラインにポリシーをバインドする。
効率性のために、オブジェクトストレージやリレーツリーは、クロスクラスタ集合なしでデルタ構築中にペイロードをストリームする。
3%と5%の変更率であっても、30B-1TモデルのNeMo-DCR改造は、トランスポートのみのフルチェックポイント参照よりも12-40$\times$高速である。
3%の1Tリレーツリーのリフィットは87.5分ではなく150秒を要するため、クロスクラスタエージェントRLを1兆パラメートルスケールで実用的である。
関連論文リスト
- Low-Rank Ternary Adaptation for Fine-Tuning Transformers [54.3230438745856]
3次変換器は、極端なメモリと計算効率を提供する。
既存のロービットのLoRAベースの手法では、3次重みを直接微調整することはできない。
3次重みの離散的な更新を表す3次乗法適応を提案する。
論文 参考訳（メタデータ） (2026-08-25T12:15:56Z) - Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。
LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文 参考訳（メタデータ） (2026-05-26T10:10:26Z) - AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems [15.913507689262573]
AgentKVShift(エージェントKVShift)は、検索したメモリ単位ごとに動作させる訓練不要のプローブ誘導残差補正手法である。
我々は,AgentKVShiftがキャッシュの10～30%をリフレッシュしながら,ほぼ完全な再計算性能を実現することを示す。
このほぼフルに近いパフォーマンスに達するには最大5倍の低い再計算が必要で、以前の再利用メソッドは45～55%のリフレッシュしか得られない。
論文 参考訳（メタデータ） (2026-05-15T16:29:36Z) - Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights [58.27172968382275]
マルチエージェントLLMシステムは、通常自然言語メッセージを交換することで協調する。
送信者のメッセージを受信者のコンテキストに付加する代わりに、送信者の隠された状態を過渡的で受信者固有の重み摂動にコンパイルする。
論文 参考訳（メタデータ） (2026-05-13T17:58:32Z) - Accelerating Long-Tail Generation in Synchronous RLHF Training via Adaptive Tensor Parallelism [11.019309466529643]
本稿では,各RLHFイテレーションの生成段階でTPを再構成する適応型TP手法であるPATを提案する。
オンライン再構成メカニズムは、TPの変更によって影響を受ける状態とレイアウトだけを更新する。
PATは、オリジナルのVeRLセットアップと比較して、生成遅延を最大34.6%削減し、エンドツーエンドのRLHFトレーニングレイテンシを最大27.2%削減する。
論文 参考訳（メタデータ） (2026-05-03T05:53:32Z) - A Little Rank Goes a Long Way: Random Scaffolds with LoRA Adapters Are All You Need [6.398929702678775]
LottaLoRAは、すべてのバックボーン重量をランダムに描画して凍結するトレーニングパラダイムであり、ローランクのLoRAアダプタのみがトレーニングされる。
9つのベンチマークで、さまざまなアーキテクチャファミリーが、完全にトレーニングされたパフォーマンスの96-100%を回復し、パラメータの0.5-40%しかトレーニングしていない。
論文 参考訳（メタデータ） (2026-04-09T20:24:50Z) - SQL-ASTRA: Alleviating Sparse Feedback in Agentic SQL via Column-Set Matching and Trajectory Aggregation [51.696027315573296]
本稿では,効率的な軌道レベル評価と高密度ステップレベル信号の提供を目的とした,普遍的な2層報酬機構を特徴とするフレームワークを提案する。
伝統的なパラダイムでは、報酬は最終ターンのフィードバックによってのみ決定され、中間プロセスを無視し、曖昧な信用評価をもたらす。
提案手法は,同一モデルを用いてBIRD 2.0上でのSOTA Arctic-Text2-R1-7Bより優れており,頑健なマルチターンエージェントのパラダイムに向けてテキストから逆収束を推進していることを示す。
論文 参考訳（メタデータ） (2026-03-17T06:26:36Z) - Understanding and Exploiting Weight Update Sparsity for Communication-Efficient Distributed RL [16.40150726450328]
帯域幅に制約のある分散環境では,100倍(14 GBから108 MB)の通信削減を実現している。
本研究は,重み付け時空間の段階的および多段階的粒度に関する系統的研究である。
アップデートの間隔は一貫して高く、実際に関係のある設定で99%を超えることがよくあります。
論文 参考訳（メタデータ） (2026-02-03T18:56:48Z) - Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
本研究では,Mixture-of-Recursions (MoR)を導入した。
MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。
また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
論文 参考訳（メタデータ） (2025-07-14T17:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。