Fugu-MT 論文翻訳(概要): When Does Exploration Prevent Collapse? Three Regimes and the Path of the Reward in Self-Consistency Training

論文の概要: When Does Exploration Prevent Collapse? Three Regimes and the Path of the Reward in Self-Consistency Training

arxiv url: http://arxiv.org/abs/2611.01307v1
Date: Sat, 31 Oct 2026 22:14:10 GMT
ステータス: 情報取得中
システム内更新日: 2026-11-04 10:18:32.162748
Title: When Does Exploration Prevent Collapse? Three Regimes and the Path of the Reward in Self-Consistency Training
Title（参考訳）: 探査はいつ崩壊を防ぐか : 自己維持訓練における3つのレジームと後退の経路
Abstract要約: テスト時の強化学習は、大多数に一致する回答を報酬することで、ラベルのないモデルに適応する。探索は、この崩壊を防ぐことができるが、その強度は試行錯誤によって選択される。正規化前の$G$サンプル群に対して1/log(G-1)$以上の係数が必要であり、その後約2～3倍であることを示す。
参考スコア（独自算出の注目度）: 5.373588450790602
License:
Abstract: Test-time reinforcement learning (TTRL) adapts a model without labels by rewarding answers that agree with the majority, but it collapses the policy onto its majority answer and can remove the correct answer from the samples. Exploration can prevent this collapse, yet its strength is chosen by trial and error, and how the training algorithm changes the required strength is unclear. We model training on a single problem as a continuous flow of the logits of a softmax policy and analyze which policies are stable as the exploration coefficient varies. Only collapsed policies are stable below a lower boundary and only policies spread over many answers above an upper boundary, and we derive these boundaries in closed form for an agreement reward with smoothing toward the uniform policy, compute them for the majority reward of TTRL on policies with one leading answer and bound them with interval arithmetic for actions on ordered bins. We prove that under exact gradients, the learning rate and, in a mean-field model, the normalization of GRPO leave these boundaries unchanged when exploration passes through them together with the reward but shift them when exploration bypasses them. Exact sums on these policies then show that a bonus for rare answers needs a coefficient above $1/\log(G-1)$ for groups of $G$ samples before the normalization and about two to three times that after it. In free-form TTRL on MATH-500, a bonus placed before the normalization prevented collapse and kept more correct answers among the samples, although it lowered pass@1.
Abstract（参考訳）: テストタイム強化学習(TTRL)は、多数派に一致する回答を報酬することで、ラベルのないモデルに適応するが、ポリシーを多数派に崩壊させ、サンプルから正しい回答を除去することができる。探索は、この崩壊を防ぐことができるが、その強度は試行錯誤によって選択される。我々は,ソフトマックス政策のロジットの連続フローとしての単一問題に基づくトレーニングをモデル化し,探索係数が変化するにつれてどのポリシーが安定であるかを解析する。崩壊した政策のみは下界の下に安定しており、上界上に多くの回答が広がる政策のみであり、統一政策に向かって円滑な合意報酬としてこれらの境界を閉じた形で導出し、TTRLの多数報酬を1つの主要な回答を持つ政策で計算し、順序付きビン上のアクションのインターバル算術で束縛する。平均場モデルでは,厳密な勾配,学習率,平均場モデルの下では,探索が報奨とともに通過した場合,GRPOの正規化は境界を変更せず,探索が通過した場合にシフトすることを示す。これらのポリシーの厳密な和は、正規化の前に$G$のサンプルのグループに対して1/\log(G-1)$以上の係数が必要であり、その後約2～3倍となることを示している。 MATH-500のフリーフォームTTRLでは, 正常化前のボーナスは崩壊を防止し, サンプル間でより正確な回答を維持したが, pass@1。

関連論文リスト

Reinforcement Learning for Hierarchical Reasoning Rewards: Minimax-Optimal Rates with Transformers [55.3749098112392]
強化学習(Reinforcement Learning, RL)は、推論タスクにおける言語モデルの訓練後の標準ツールである。オンライン調査では,報酬が集中している地域を徐々に拡大し,RLポストトレーニングのメリットを定量化している。
論文参考訳（メタデータ） (2026-10-06T15:43:08Z)
Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds [61.41272490044518]
REINFORCEの分散還元バージョンは、$O(-3)$サンプルの複雑さを改善して$$-stationary点を求める。本稿では, 従来の重みの分散を仮定することなく, 同一レートを達成できる, 防御重要度サンプリングに基づくアルゴリズムを提案する。
論文参考訳（メタデータ） (2026-10-02T11:43:52Z)
Free Everywhere, Exact on Trees: PPO's Dropped Correction Buys Sample Efficiency Under Aggressive Reuse [0.0]
本研究では,各状態が正確に1つの履歴に到達した履歴インジェクティブ・ダイナミクスの下では,各状態ビジュアライゼーション比がサンプルプレフィックスに沿ったステップごとのポリシー比の積と等しいことを示す。クリッピングが既に再利用バイアスを含んでいる場合、全会一致で行われる修正は、有害である。
論文参考訳（メタデータ） (2026-09-30T12:41:43Z)
Fine-Tuning on Self-Generated and Reward-Weighted Data: Learning Dynamics, Convergence Rates, and Benefits of Off-Policyness [69.00065140233411]
REINFORCE -- RE(S) と呼ばれる -- は、$S ge 1$グルーフステップ毎にロールアウト分布を更新する。我々は、$ ge 1$のスペクトルを網羅するRE(S) の統一理論を開発する。任意の固定された$S$に対して、RE(S) は、ロールアウト分布の更新数$B = lfloor T / S rfloor rightarrow infty$ として最適ポリシーへの大域収束を楽しむ。
論文参考訳（メタデータ） (2026-09-29T07:54:06Z)
When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。学習は、答えが振動し、正しさの証拠が広がる場所を給与する。コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
論文参考訳（メタデータ） (2026-06-29T19:33:42Z)
Nudging the Boundaries of LLM Reasoning [77.26972440427285]
現在のオンライン強化学習アルゴリズムは、モデルに「解決不可能」な問題から学べない。自己生成ヒントを用いてLLM推論の上界を推し進める「看護」手法であるNuRLを提案する。 NuRLは、テスト時間スケーリングを補完しながら、6つのベンチマークと3つのモデルで一貫した改善を実現している。
論文参考訳（メタデータ） (2025-09-30T02:01:40Z)
Quantile-Optimal Policy Learning under Unmeasured Confounding [55.72891849926314]
ここでは,報酬分布が (0, 1) で最大$alpha$-quantileを持つポリシーを見つけることを目標とする量子最適政策学習について検討する。このような問題は、(i)報酬分布の関数としての量子目標の非線形性、(ii)未観測の共起問題、(iii)オフラインデータセットのカバー不足という3つの大きな課題に悩まされている。
論文参考訳（メタデータ） (2025-06-08T13:37:38Z)
Reinforcement Learning with Verifiable Rewards: GRPO's Effective Loss, Dynamics, and Success Amplification [10.617854230082896]
グループ相対政策最適化は、検証可能な(バイナリ)報酬の下でLLMの推論を促進するために最近導入された。我々は、報酬正規化(平均のみ対平均+分散)とKL分散を用いた更新の正則化の仕方が異なる変種を解析する。
論文参考訳（メタデータ） (2025-03-09T14:36:45Z)
DDPG++: Striving for Simplicity in Continuous-control Off-Policy Reinforcement Learning [95.60782037764928]
過大評価バイアスが制御される限り、単純な決定論的政策勾配は著しく機能することを示す。第二に、非政治的なアルゴリズムの典型であるトレーニングの不安定性を、欲張りのポリシー更新ステップに向ける。第3に、確率推定文学におけるアイデアは、リプレイバッファからの重要サンプル遷移や、性能劣化を防ぐためのポリシー更新に利用できることを示す。
論文参考訳（メタデータ） (2020-06-26T20:21:12Z)
Differentiable Bandit Exploration [38.81737411000074]
我々は、$mathcalP$からサンプルを使って未知のディストリビューション$mathcalP$についてそのようなポリシーを学ぶ。我々のアプローチはメタラーニングの形式であり、その形式について強い仮定をすることなく$mathcalP$のプロパティを利用する。
論文参考訳（メタデータ） (2020-02-17T05:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。