論文の概要: Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL

• arxiv url: http://arxiv.org/abs/2607.01490v1
• Date: Wed, 01 Jul 2026 21:39:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.599475
• Title: Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL
• Title（参考訳）: 利上げを許すな、政策のグラディエント(RL)の重みを壊す
• Abstract要約: アドバンテージ機能はトレーニング目標を再構築し、ロールアウトによって学習が促進され、実装が簡単になる。 任意の利点を2つの軸に沿った正および負の勾配質量に分解する。 これはFADEを動機付けている。FADEは、トレーニングダイナミクスを読み取って勾配の重みを自動的にスケジュールする自己適応的なアドバンテージだ。
• 参考スコア（独自算出の注目度）: 26.674408684552002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning post-training dramatically improves LLM reasoning, but suffers from training instability and diversity collapse. Advantage functions offer an appealing fix: they reshape the training objective, reweight which rollouts drive learning, and are trivial to implement. Yet a proliferation of methods makes it unclear which advantage to use and when. We cut through the confusion with a unifying framework that decomposes any advantage into its positive and negative gradient mass along two orthogonal axes. On the sign axis, imbalanced updates collapse either entropy or weight geometry. On the difficulty axis, hard-problem focus sharpens signal but costs sample size. Both trade-offs shift during training: exploration favors balance and hard focus; exploitation favors suppression and medium focus. This motivates FADE (Focal Advantage with Dynamic Entropy), a self-adapting advantage that reads training dynamics to schedule the gradient weight automatically. FADE reaches peak pass@1 20k steps earlier than the best static baseline at the 7B scale and 2k steps earlier at the 32B , while achieving the best accuracy-diversity trade-off across all pass@k on LiveCodeBench and AIME.
• Abstract（参考訳）: 強化後の学習はLLM推論を劇的に改善するが、トレーニングの不安定性と多様性の崩壊に悩まされる。 トレーニングの目標を再構築し、ロールアウトによって学習が促進され、実装が簡単になる。 しかし、メソッドの急増は、どの利点を使うか、いつ使うかを明確にしない。 我々は、任意の利点を2つの直交軸に沿って正および負の勾配質量に分解する統一フレームワークとの混同を回避した。 符号軸では、不均衡な更新はエントロピーまたは重量幾何学のいずれでも崩壊する。 難易度軸では、ハードプロブレムの焦点は信号を鋭くするが、サンプルサイズはコストがかかる。 探究はバランスとハードフォーカスを好み、搾取は抑制と中焦点を好みます。 これはFADE(Focal Advantage with Dynamic Entropy)を動機付けている。 FADEは7Bスケールで最高の静的ベースラインよりも120kステップ早く、32Bで2kステップ早く到達し、LiveCodeBenchとAIME上のすべてのpass@kで最高の精度と多様性のトレードオフを達成する。

関連論文リスト

• Confusion-Geometry Rebalancing for Long-Tailed Adversarial Training [53.3522202888031]
  長い尾の分布の下での敵の訓練は二重の不均衡に悩まされ、クラス不均衡はヘッドクラスに対する訓練目標を歪ませる。 そこで本研究では,有向なロバストな誤りを学習信号として活用するプラグインフレームワークである長尾逆行訓練のためのコンフュージョン幾何分散法(CGRm)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T14:54:00Z)
• Improving Neural Network Training by Decoupling the Magnitude and Direction of Weight Vectors [110.10775872372047]
  EmphMagnitude-Direction-Direction (MD) Decouplingを提案する。 これは、各重量をハイパースフィア上の固定ノルム方向に分解し、学習可能な1ローとカラムごとのマグニチュードゲインを、別々の学習速度で更新する。 アダムとムーンの双方で、MD Decouplingはよく調整されたベースラインを改善し、モデルの幅を調整せずに最適なLRを転送し、大規模なMixture-of-Expertsモデルのスケールに役立っている。
  論文  参考訳（メタデータ） (2026-06-24T15:40:26Z)
• Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping [66.25536973294726]
  テキスト・トゥ・イメージ(T2I)モデルのポストトレーニング手法はハッキングに報いる傾向がある。 SLAS(Super-Linear Advantage Shaping)は、地方政策の分野を再考する。 SLASは、DanceGRPOベースラインを複数のバックボーンとベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-11T17:59:25Z)
• GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
  強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
  論文  参考訳（メタデータ） (2026-02-25T01:54:50Z)
• DISPO: Enhancing Training Efficiency and Stability in Reinforcement Learning for Large Language Model Mathematical Reasoning [31.369103012768964]
  DISPOは単純だが効果的なREINFORCEスタイルのアルゴリズムで、正しい反応と間違った反応のために重要なサンプリング重量の上昇と下降を分離する。 DISPO は AIME'24 (55.42% CISPO と 50.21% DAPO) で 61.04% を達成することを示す。
  論文  参考訳（メタデータ） (2026-02-01T02:45:04Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• Neural Collapse Inspired Attraction-Repulsion-Balanced Loss for Imbalanced Learning [97.81549071978789]
  勾配の異なる成分のバランスをとるために,Attraction-Repulsion-Balanced Loss (ARB-Loss)を提案する。 大規模分類とセグメンテーションデータセットの実験を行い、ARB-Lossは最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-04-19T08:23:23Z)
• Long-Tailed Recognition via Weight Balancing [66.03068252811993]
  ナイーブトレーニングは、より高い精度で一般的なクラスに偏ったモデルを生成する。 重みのバランス、L2-正規化、重みの崩壊、MaxNormの3つの手法について検討する。 提案手法は,5つの標準ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-03-27T03:26:31Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。