論文の概要: Wrong Votes, Right Gradients: Why Majority-Vote Rewards Track Verifiable RL

• arxiv url: http://arxiv.org/abs/2610.20898v1
• Date: Wed, 14 Oct 2026 20:25:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.062414
• Title: Wrong Votes, Right Gradients: Why Majority-Vote Rewards Track Verifiable RL
• Title（参考訳）: 不正投票と右派投票:なぜ多数決投票がRLの正当性を追及するのか
• Abstract要約: 自己生成ラベルによる強化学習(例えば、モデルのサンプルに対する多数投票)は、しばしば、検証可能な報酬でトレーニングのほとんどを回復させる。 これは通常のプロンプトレベルの見解とは違っていて、多数決はモデルのモーダル回答のみを返却し、正確性に関する情報を追加することができない。 パラメータが共有されているため、プロンプト自身の勾配は、実際のバッチサイズでのプロンプトの出力の1%以下である。 多数決の更新をゴールド更新と比較して縮小と誤った方向に分解し、バッチサイズで誤方向が消えることを示す。
• 参考スコア（独自算出の注目度）: 8.151960921142317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning with self-generated labels, such as majority vote over a model's own samples, often recovers most of the gain of training with verifiable rewards. This is puzzling from the usual prompt-level view, in which majority vote only returns a model's modal answer and cannot add information about correctness. We argue that the relevant unit is the batch-level update. Because parameters are shared, a prompt's own gradient accounts for less than 1\% of the change in that prompt's output at practical batch sizes, so a wrong label matters only to the extent that label errors share a direction across prompts. We decompose the majority-vote update into shrinkage and misdirection relative to the gold update, and show that misdirection vanishes with batch size whenever errors are incoherent across prompts, however often the labels are wrong. Measuring per-response gradients on five models, we find that majority-vote errors are as incoherent as a random-reward null, that the majority-vote update agrees with the gold update as closely as two independent gold updates agree with each other, and that its noise-corrected cosine with the gold update is 1 within error. Randomly flipping up to 30\% of gold labels leaves the update direction intact, while the same fraction flipped by a shared rule destroys it, and rewards that favor a kind of response on every prompt, such as a learned reward model, fall measurably short. The equivalence holds at every checkpoint we examine but is local: gold-reward training still ends ahead on held-out majority accuracy. Error coherence, not error rate, determines when self-generated labels can stand in for verification.
• Abstract（参考訳）: 自己生成ラベルによる強化学習(例えば、モデルのサンプルに対する多数投票)は、しばしば、検証可能な報酬でトレーニングのほとんどを回復させる。 これは通常のプロンプトレベルの見解とは違っていて、多数決はモデルのモーダル回答のみを返却し、正確性に関する情報を追加することができない。 関連するユニットはバッチレベルの更新である、と私たちは主張する。 パラメータが共有されているため、プロンプト自身の勾配は、実際のバッチサイズでのプロンプトの出力の変化の1/%以下である。 多数決の更新をゴールド更新と比較して縮小と誤った方向に分解し、エラーがプロンプト間で一致しない場合、誤指示がバッチサイズで消えることを示すが、しばしばラベルが間違っている。 5つのモデルで応答ごとの勾配を測定すると、多数投票エラーはランダムリワードヌルと同じくらい不整合であり、多数投票更新は2つの独立したゴールド更新と密接に一致し、ゴールド更新とのノイズ補正コサインは1の誤差で一致していることがわかった。 ランダムに30倍の金ラベルをめくると、更新方向はそのまま残るが、共有ルールによって反転された同じ分数で破壊され、学習された報酬モデルのような全てのプロンプトに対するある種の反応を好む報酬は、計り知れないほど短くなる。 検査するすべてのチェックポイントで等価性は保たれますが、ローカルです。 エラー・コヒーレンス(エラー・コヒーレンス)は、自己生成ラベルが検証のためにいつ立ち上がるかを決定する。

関連論文リスト

• CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning [6.071121358322323]
  emphCoREはトレーニングされていないベースを平均で+21.7ドル、多数投票で$20.4ドルで改善する。 投票ボックスではなくグラフとしてロールアウトグループを扱い、不安定な投票を、余分なロールアウトコストなしで、校正され、格付けされ、自己監督された報酬に変える。
  論文  参考訳（メタデータ） (2026-08-10T09:06:03Z)
• Pay Only for Disagreement: Certified No-Regression Verdicts for Model Updates with Matching Label-Complexity Bounds [0.0]
  我々は、更新促進を認定されたペア・リスク・ディファレンス監査として定式化する。 ゼロラベル層は、ラベルのないトラフィックのみに対する耐性よりも不一致率が低い良質な更新を認証する。 次数 rho2/eps2 の有限サンプル妥当性とラベル-複素性境界をレートレベルで証明する。
  論文  参考訳（メタデータ） (2026-07-22T02:51:14Z)
• Consensus as Privileged Context for Label-Free Self-Distillation [12.523025093871304]
  CANON(Consensus-Anchored Self-distillation)は、コンセンサスを密集したトークンレベルの監視に転換するラベルフリーのトレーニング手法である。 CanONはpass@1を最大12ポイント改善し、ラベルなしの強化学習を計算の7分の1で6ポイント上回る。
  論文  参考訳（メタデータ） (2026-07-15T09:39:32Z)
• CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
  CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。 Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。 自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
  論文  参考訳（メタデータ） (2026-03-18T14:38:55Z)
• Controller-Guided Partial Label Consistency Regularization with Unlabeled Data [49.24911720809604]
  本稿では,ラベルレベルと表現レベルの両方において,コントローラ誘導整合正則化を提案する。 信頼度閾値を動的に調整し、整合正則化に参加する各クラスのサンプル数が大まかに等しいようにし、クラス不均衡の問題を緩和する。
  論文  参考訳（メタデータ） (2022-10-20T12:15:13Z)
• Long-tail learning via logit adjustment [67.47668112425225]
  現実世界の分類問題は通常、不均衡または長い尾のラベルの分布を示す。 これは、そのようなラベルを一般化する上での課題であり、また、支配的なラベルに偏った「学習」をもたらさせる。 これらの課題に対処するために、標準的なソフトマックスクロスエントロピートレーニングの2つの簡単な修正を提案する。
  論文  参考訳（メタデータ） (2020-07-14T19:27:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。