論文の概要: Collective Dynamics of Self-Reinforcement: How Cross-Task Coupling Drives Policy Collapse in Unsupervised RLVR
- arxiv url: http://arxiv.org/abs/2610.37553v1
- Date: Tue, 27 Oct 2026 17:01:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.277534
- Title: Collective Dynamics of Self-Reinforcement: How Cross-Task Coupling Drives Policy Collapse in Unsupervised RLVR
- Title（参考訳）: 自己強化の集合ダイナミクス:非教師なしRLVRにおけるクロスタスク結合が政策崩壊をいかに促すか
- Abstract要約: 検証可能な報酬を伴うラベルなし強化学習(RLVR)は、自身の多数決に賛成する言語モデルに報酬を与える。
自己評価された報酬は1つになり、精度は低下するが、モデルがすべての問題に同じ答えを与えるまで、しばしば失敗する。
このデータセットサイズ依存を集合不安定性として説明する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Label-free reinforcement learning with verifiable rewards (RLVR) rewards a language model for agreeing with its own majority vote. It improves reasoning at first but eventually collapses: the self-assessed reward goes to one while accuracy falls, often until the model gives the same answer to every problem. The collapse appears only when training uses many problems. We explain this dataset-size dependence as a collective instability. In a solvable many-problem model in which problems share parameters, a population whose problems prefer different answers amplifies any shared perturbation for as long as the population-averaged slope $\langle F'\rangle$ of the single-problem self-reinforcement drift $F$ is positive. This holds while problems are still uncertain about their answers. Per-problem sharpening, slowed by $1/N$ for $N$ training problems, races against the shared mode, which grows at a rate $\proptoλ^2$ independent of $N$, where $λ$ is the strength of the shared coupling. This yields a critical number of problems $N_c\simeq\ln(1/δ)/(λ^2G)$, where $δ$ seeds the shared mode and $G$ decreases with the initial confidence. Simulations of the model confirm the predictions: a sharp transition, $N_c\proptoλ^{-2}$ up to a logarithmic correction, a single critical amplification $λ^2NG$ across couplings, confidence profiles and training variants, a logarithmic dependence on batch size, and no collapse for confident initial models. A kernel version of the theory identifies a protective coupling (generalization of sharpening) and a marginal-entropy bonus that stabilizes the uniform collective mode. In label-free RL of a small Transformer, removing the shared direction prevents collapse entirely, restoring it causes collapse, and collapse grows with training-set size and base-model entropy.
- Abstract（参考訳）: 検証可能な報酬を伴うラベルなし強化学習(RLVR)は、自身の多数決に賛成する言語モデルに報酬を与える。
自己評価された報酬は1つになり、精度は低下するが、モデルがすべての問題に同じ答えを与えるまで、しばしば失敗する。
崩壊は、トレーニングが多くの問題を使用する場合にのみ発生する。
このデータセットサイズ依存を集合不安定性として説明する。
問題がパラメータを共有する可解な多確率モデルにおいて、問題が異なる解を求める集団は、集団平均の勾配$\langle F'\rangle$が正である限り、共有摂動を増幅する。
問題がまだ解答について不確実である間、これは成り立つ。
パープロブレムシャープニング(per-problem sharpening, 1/N$ for $N$ training problem, races against the shared mode, which grows with a rate $\proptoλ^2$ independent of $N$, where $λ$ is the strength of the shared coupling。
これにより、N_c\simeq\ln(1/δ)/(λ^2G)$という重要な問題が発生する。
シャープな遷移、$N_c\proptoλ^{-2}$対数補正、結合間の単一臨界増幅$λ^2NG$、信頼プロファイルとトレーニング変種、バッチサイズへの対数依存、信頼の初期モデルへの崩壊なし。
この理論のカーネルバージョンは、保護結合(シャープ化の一般化)と一様集合モードを安定化する辺縁エントロピーボーナスを識別する。
小型変圧器のラベルフリーRLでは、共有方向の除去が完全に崩壊するのを防ぎ、崩壊を引き起こし、トレーニングセットサイズとベースモデルエントロピーによって崩壊が増大する。
関連論文リスト
- Double Descent and Malign Overfitting in Diffusion Models [5.939780039158003]
拡散モデルの過度な適合は破滅的であり、モデルを体制へと駆り立てる。
トレーニングサンプルあたりの雑音実現の固定数$m$では、2次ピークが発生するが、標準回帰のように$psim n$ではなく$psim nm$となる。
この過度な適合は、トレーニングの暗黙の規則化が完全に作業中であるにもかかわらず、真のスコアではなく、経験的なスコアに向かってモデルを駆動するからである。
論文 参考訳（メタデータ） (2026-09-22T13:30:48Z) - Linear RNN Scaling Laws: When Longer Sequences Beat More Sequences [17.927451930317197]
自己回帰言語モデルの実証的なスケーリング法則は、予測損失をモデルサイズ、データサイズ、最適化計算に関連付ける。
本研究では,安定な潜在線形RNNが軌道を発生し,スケッチされた線形リカレント学習者は,次の予測に基づいて,安全でフルバッチなWSD勾配勾配で学習する,学習可能な教師-学生モデルを用いて検討する。
論文 参考訳（メタデータ） (2026-08-23T13:37:15Z) - Understanding Diversity Collapse in RLVR via the Lens of Overtraining [78.37408098404312]
検証可能な報酬付き強化学習(RLVR)は,大規模言語モデルの推論能力を高めるための重要なアプローチとなっている。
我々は、この多様性の崩壊をエンフェーバートレーニングのレンズを通してフォーマルに定式化する
本稿では,各問題の限界寄与を推論境界に推定することにより,オーバートレーニングから最適化をリダイレクトするemphBayesian boundary Gating (BBG)を提案する。
論文 参考訳（メタデータ） (2026-06-13T20:13:37Z) - The Ringelmann Effect in Multi-Agent LLM Systems: A Scaling Law for Effective Team Size [5.51170856062205]
我々は,高密度ピアの影響がサブリニアからハードサイリングへと解答レベル体制を崩壊させることを示した。
30の高密度な議論剤はMMLU-Hardのそれ以上の答えの多様性をもたらす。
自由形式数学において、高密度なピアの影響は、解準線形からハードシーリングへの解準位体制を崩壊させる。
論文 参考訳（メタデータ） (2026-05-31T16:19:54Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - Binary Rewards and Reinforcement Learning: Fundamental Challenges [7.106986689736826]
RLVRによる強化学習は、言語モデルにおける推論を改善するための標準的なアプローチとなっている。
二項報酬の性質を基礎としたこの現象の構造的説明を提供する。
論文 参考訳（メタデータ） (2026-05-04T09:17:26Z) - Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。
学習がエラー分布の「ハードテール」を小さくすることを示す。
論文 参考訳（メタデータ） (2026-01-07T10:00:17Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳（メタデータ） (2025-11-16T20:14:28Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Variance-Aware Confidence Set: Variance-Dependent Bound for Linear
Bandits and Horizon-Free Bound for Linear Mixture MDP [76.94328400919836]
線形バンドイットと線形混合決定プロセス(mdp)に対する分散認識信頼セットの構築方法を示す。
線形バンドイットに対しては、$d を特徴次元とする$widetildeo(mathrmpoly(d)sqrt1 + sum_i=1ksigma_i2) が成り立つ。
線形混合 MDP に対し、$widetildeO(mathrmpoly(d)sqrtK)$ regret bound を得る。
論文 参考訳（メタデータ） (2021-01-29T18:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。