論文の概要: Binary Rewards and Reinforcement Learning: Fundamental Challenges

• arxiv url: http://arxiv.org/abs/2605.02375v1
• Date: Mon, 04 May 2026 09:17:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.212714
• Title: Binary Rewards and Reinforcement Learning: Fundamental Challenges
• Title（参考訳）: バイナリ・リワードと強化学習:基本的な課題
• Authors: Marc Dymetman,
• Abstract要約: RLVRによる強化学習は、言語モデルにおける推論を改善するための標準的なアプローチとなっている。 二項報酬の性質を基礎としたこの現象の構造的説明を提供する。
• 参考スコア（独自算出の注目度）: 7.106986689736826
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with verifiable rewards (RLVR) has become a standard approach for improving reasoning in language models, yet models trained with RLVR often suffer from diversity collapse: while single-sample accuracy improves, multi-sample coverage degrades, sometimes falling below the base model. We provide a structural account of this phenomenon grounded in the properties of binary rewards. Binary rewards create a fundamental degeneracy for policy gradient methods: the set of distributions maximizing expected reward is infinite, with no distinguished element. KL-control resolves this degeneracy by selecting, in the limit $β\to 0$, the filtered model $p_*:=a(\cdot\mid\mathcal{Y}_1)$ -- the base model conditioned on validity -- which is the unique fully valid distribution closest to the base model in KL divergence. This selection operates through a nontrivial asymmetry: the tilted distribution $p_{[β]}\propto a(y)\,e^{v(y)/β}$ converges to $p_*$ in forward KL as $β\to 0$, yet $p_*$ cannot serve as a direct optimization target because $\mathrm{KL}(q\,\|\,p_*)$ is infinite for any full-support policy $q$. We develop explicit formulas relating the hyperparameter $β$ to the more interpretable target validity rate $μ$. Under model misspecification -- the typical practical regime -- the pressure to decrease $β$ drives the optimizer toward highly concentrated distributions over a small number of valid outputs, collapsing toward ever fewer as $β$ decreases, rather than toward the filtered model. We illustrate this mechanism on a toy autoregressive experiment and discuss how alternative divergences that target $p_*$ directly -- as pursued empirically by \citet{kruszewski_whatever_2026} -- avoid this failure mode by rewarding coverage of $p_*$'s support rather than concentration on high-validity outputs.
• Abstract（参考訳）: 検証可能な報酬付き強化学習(RLVR)は、言語モデルにおける推論を改善するための標準的なアプローチとなっているが、RLVRで訓練されたモデルは、しばしば多様性の崩壊に悩まされる。 二項報酬の性質を基礎としたこの現象の構造的説明を提供する。 双対報酬は、ポリシー勾配法に基本的な縮退を与える: 期待される報酬を最大化する分布の集合は無限であり、卓越した要素は存在しない。 KL制御は、極限$β\to 0$で、フィルタされたモデル $p_*:=a(\cdot\mid\mathcal{Y}_1)$ -- 妥当性を条件としたベースモデル -- KL分散において基底モデルに最も近い唯一の完全有効分布である -- を選択することで、この縮退性を解決する。 傾き分布 $p_{[β]}\propto a(y)\,e^{v(y)/β}$ は KL において$β\to 0$ として$p_*$ に収束するが、$p_*$ は、すべてのフルサポートポリシー $q$ に対して $\mathrm{KL}(q\,\|\,p_*)$ が無限であるため、直接最適化の対象として機能しない。 我々はハイパーパラメータの$β$と、より解釈可能なターゲット妥当性の$μ$に関する明示的な式を開発する。 典型的な実用的体制であるモデルミススペクテーションの下では、$β$を下げる圧力は、オプティマイザを少数の有効な出力に対して高度に集中した分布へと誘導し、フィルタされたモデルではなく、$β$を下げるよりもはるかに少ない値に崩壊する。 このメカニズムをおもちゃの自己回帰実験で説明し、高粘度出力への集中ではなく、$p_*$の支持に報いることにより、例えば \citet{kruszewski_whatever_2026} によって実証的に追求された、$p_*$を直接ターゲットとする代替の発散が、この失敗モードを避けるためにどのように議論する。

関連論文リスト

• $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
  一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。 本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:41Z)
• Post-Training with Policy Gradients: Optimality and the Base Model Barrier [27.674563695368665]
  結果とプロセス報酬を伴う線形自己回帰モデルの訓練後評価について検討する。 我々は、ポリシー勾配(PG)の変種が、本質的に最小限の報酬クエリ数を持つ1-varepsilon$を実現できることを証明した。
  論文  参考訳（メタデータ） (2026-03-07T00:25:53Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• A Sharp Convergence Theory for The Probability Flow ODEs of Diffusion Models [45.60426164657739]
  拡散型サンプリング器の非漸近収束理論を開発する。 我々は、$d/varepsilon$がターゲット分布を$varepsilon$トータル偏差距離に近似するのに十分であることを証明した。 我々の結果は、$ell$のスコア推定誤差がデータ生成プロセスの品質にどのように影響するかも特徴付ける。
  論文  参考訳（メタデータ） (2024-08-05T09:02:24Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Asymptotics of Language Model Alignment [27.37118975691123]
  最適KL制約RL解が大きな偏差原理を満たすことを示す。 また、報酬のスケールした累積物の成長速度は、適切なレニイクロスエントロピーによって特徴づけられることを示した。
  論文  参考訳（メタデータ） (2024-04-02T08:40:07Z)
• Minimax Optimality of Score-based Diffusion Models: Beyond the Density Lower Bound Assumptions [11.222970035173372]
  カーネルベースのスコア推定器は$widetildeOleft(n-1 t-fracd+22(tfracd2 vee 1)rightの最適平均二乗誤差を達成する 核を用いたスコア推定器は,拡散モデルで生成した試料の分布の総変動誤差に対して,極小ガウスの下での最大平均2乗誤差を$widetildeOleft(n-1/2 t-fracd4right)$上界で達成することを示す。
  論文  参考訳（メタデータ） (2024-02-23T20:51:31Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity [67.02490430380415]
  モデルに基づくMARLは、Nash平衡値(NE)を求めるために$tilde O(|S||B|(gamma)-3epsilon-2)$のサンプル複雑性を実現する。 また、アルゴリズムが報酬に依存しない場合、そのようなサンプル境界は最小値(対数因子まで)であり、アルゴリズムは報酬知識のない遷移サンプルを問合せする。
  論文  参考訳（メタデータ） (2020-07-15T03:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。