論文の概要: TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.07043v1
• Date: Mon, 05 Oct 2026 00:53:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.531164
• Title: TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning
• Title（参考訳）: TRIAGE:NVFP4強化学習の方向性を考慮したミスマッチ安定化
• Abstract要約: 低精度実行は、大規模言語モデルの強化学習を大幅に加速させることができる。 本稿では,ミスマッチと政策段階的方向性の相互作用を特徴付ける。 政策段階の更新を選択的に再バランスするためにセグメントレベルの診断を用いる方向認識安定化手法であるTRIAGEを導入する。
• 参考スコア（独自算出の注目度）: 28.14978673736067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-precision execution can substantially accelerate reinforcement learning (RL) for large language models, but discrepancies between learner and sampler execution can destabilize policy optimization. In this paper, we characterize the interaction between mismatch and the policy-gradient direction, distinguishing locally amplifying from contracting update contributions that mismatch magnitude alone cannot identify. In native NVFP4 runs, we observe an early imbalance between the two amplifying regions, favoring negative-advantage, negative-gap updates. Their tail tokens become concentrated in a small fraction of response segments before mismatch spreads globally. Motivated by these findings, we introduce TRIAGE, a direction-aware stabilization method that uses segment-level diagnosis to selectively rebalance policy-gradient updates and applies bounded repair to residual severe mismatch. TRIAGE modifies the optimization objective while retaining native NVFP4 weight-and activation 4-bit (W4A4) forward execution on both the sampler and learner. Experiments on Qwen3-4B and Qwen3-30B-A3B show stable optimization throughout the evaluated training horizon and achieve full precision level performance across five mathematical reasoning benchmarks, while native NVFP4 with TRIAGE provides up to 2.3x higher rollout throughput than BF16.
• Abstract（参考訳）: 低精度実行は、大規模言語モデルの強化学習(RL)を大幅に加速させるが、学習者とサンプル実行の相違は、ポリシー最適化を不安定にすることができる。 本稿では,ミスマッチと政策段階的方向性の相互作用を特徴付け,ミスマッチの規模だけでは識別できない契約更新のコントリビューションと局所的増幅を区別する。 ネイティブNVFP4では2つの増幅領域間の早期の不均衡が観察され、負のアドバンテージ、負のギャップ更新が好まれる。 彼らのテールトークンは、ミスマッチが世界中に広がる前に、少数の応答セグメントに集中する。 これらの結果から,政策段階の更新を選択的に再バランスさせる方向認識安定化法であるTRIAGEを導入し,残酷なミスマッチに対する境界修復を行った。 TRIAGEは、ネイティブなNVFP4重みとアクティベーション4ビット(W4A4)をサンプルと学習者の両方で前方に実行しながら最適化目標を変更する。 Qwen3-4BとQwen3-30B-A3Bの実験では、評価されたトレーニング地平線全体にわたって安定した最適化が行われ、5つの数学的推論ベンチマークで完全な精度レベルのパフォーマンスが達成されている。

関連論文リスト

• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides [26.939321070753607]
  ロールアウト生成は、Mixture-of-Experts(MoE)大規模言語モデルのための強化学習において、大きなボトルネックとなる。 そこで本稿では,NVFP4 RL の安定化を図るため,QUantization-error Alignment across Dual Sides (QUADS)を提案する。 QUIDSはBF16レベルの精度を実現し、NVFP4 RLよりも平均パス@1を21.49ポイント改善し、FP8よりも16%高いロールアウトスループットを提供する。
  論文  参考訳（メタデータ） (2026-07-17T10:21:27Z)
• Full-Stack FP4: Stable LLM Pretraining with Quantized Projections, Optimizers, and Attention [34.07319488267708]
  最近のNVFP4事前学習法は主に変圧器線形層を対象としており、4ビットパイプラインで探索された計算状態、算術的および注意点を残している。 この臨界ギャップは、3つのコアモジュールがユニークな数値的な故障パターンを示すため、安定なフルスタック4ビットプリトレーニングをブロックする。 3つの安定性ボトルネックをすべて解決した最初の完全NVFP4事前学習フレームワークであるFull-Stack FP4を提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:31:36Z)
• Pretraining large language models with MXFP4 on Native FP4 Hardware [6.139566055770847]
  我々は,前向きのアクティベーションやアクティベーション勾配が安定している場合でも,大規模言語モデルのフルパイプFP4トレーニングがしばしば分岐する理由を考察する。 その結果,FP4トレーニングの不安定性は,過度な直感性ではなく,敏感な勾配経路に沿った構造的マイクロスケーリング誤差によって引き起こされることがわかった。
  論文  参考訳（メタデータ） (2026-05-11T00:04:07Z)
• Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing [79.88256756334327]
  自己蒸留政策最適化(SDPO)は、より密集したロジットレベルの監視を提供することによってこの問題に対処する。 サンプル制御ポリシー最適化(SRPO)を提案する。 SRPOは、試料をGRPOの報酬整合強化に向け、サンプルをSDPOの目標ロジットレベルの補正に向ける。
  論文  参考訳（メタデータ） (2026-04-02T17:29:18Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• BAPO: Stabilizing Off-Policy Reinforcement Learning for LLMs via Balanced Policy Optimization with Adaptive Clipping [69.74252624161652]
  適応クリッピング(BAPO)を用いたBAlanced Policy Optimizationを提案する。 BAPOはクリッピングバウンダリを動的に調整し、適応的に正と負のコントリビューションを再バランスさせ、エントロピーを保持し、RL最適化を安定化させる。 AIME 2024とAIME 2025ベンチマークでは、7B BAPOモデルがSkyWork-OR1-7Bのようなオープンソースモデルを上回っています。
  論文  参考訳（メタデータ） (2025-10-21T12:55:04Z)
• Optimality and Adaptivity of Deep Neural Features for Instrumental Variable Regression [57.40108516085593]
  ディープ・フィーチャー・インスツルメンタル・変数(DFIV)回帰(Deep Feature instrumental variable)は、ディープ・ニューラルネットワークによって学習されたデータ適応的特徴を用いたIV回帰に対する非パラメトリックなアプローチである。 DFIVアルゴリズムは,目的構造関数がベソフ空間にある場合,最小最適学習率を実現する。
  論文  参考訳（メタデータ） (2025-01-09T01:22:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。