論文の概要: Honesty Is a Race: Predicting When Verifiable-Reward RL Teaches a Model to Bluff
- arxiv url: http://arxiv.org/abs/2611.15779v1
- Date: Wed, 11 Nov 2026 17:54:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.245476
- Title: Honesty Is a Race: Predicting When Verifiable-Reward RL Teaches a Model to Bluff
- Title(参考訳): RLの試行錯誤を予知する「Honesty」
- Abstract要約: トレーニング開始時に同じ利益を期待する2つの報酬は、反対の場所で強化学習を終了することができる。
我々は、チェッカーが検証できないという判断に対して$b$を支払う報酬(このプログラムは正しい)と、承認する証明書に対して$r$を支払う報酬について研究する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Two rewards with the same expected payoff at the start of training can end a reinforcement-learning run in opposite places, with an honest model or one that bluffs. We study rewards that pay $b$ for a verdict that a checker cannot verify ("this program is correct") and $r$ for a certificate that it accepts (an input revealing a bug). To first order, a GRPO step makes the model more honest exactly when $\tilde{p}\,r/b>1+κ$. Here $\tilde{p}$ is the rate at which the checker accepts the model's certificates, weighted toward the items on which the model still gives both verdicts, and $κ$ is the pull of the items on which the unverifiable verdict is right. Both terms move during training. A checker raises $\tilde{p}$, so near the threshold honesty is a race, which a run just below the threshold can win and a run under a lottery (random pay with the same mean) cannot. The term $κ$ starts large and falls as the other items settle, so a run just above the threshold first dips toward bluffing, on code nearly to zero, before climbing back. Paying the honest verdict also pulls the other items toward it, which predicts a ceiling on the payoff ratio, above which the model gives the honest verdict where it is wrong. On propositional Datalog, two code models, and abstention on grade-school math, with $p$ the model's success rate before RL, no run above $pr/b=1$ ends collapsed, and runs under the checker can survive slightly below it. At $pr/b=3$, above the ceiling, both code models call about half of correct programs buggy. On depth-3 Datalog, training generously under the checker and then cutting the payoff keeps the model at least 67% honest in three seeds, at a ratio where the same model trained from the start falls to 4-15% and is at most 47% honest after 160 steps. On depth-2 Datalog, when honesty collapses, a linear probe fit before RL still reads the truth.
- Abstract(参考訳): トレーニング開始時に同じ利益を期待する2つの報酬は、正当なモデルやブラフを伴って、反対の場所で強化学習を終了することができる。
我々は、チェッカーが検証できないという判断に対して$b$を支払う報酬(このプログラムは正しい)と、それを受け入れる証明書(バグを明らかにする入力)に対して$r$について研究する。
まず、GRPO のステップは $\tilde{p}\,r/b>1+κ$ のときにモデルをより正直にする。
ここで$\tilde{p}$は、チェッカーがモデルの証明書を受け取り、モデルが両方のバリデーションをまだ与えている項目に重み付けされ、$κ$は検証不能なバリデーションが正しい項目のプルである。
両方の条件はトレーニング中に移動します。
チェッカーは$\tilde{p}$を値上げするので、しきい値の誠実さの近くはレースであり、しきい値の直ぐ下のランが勝つことができ、抽選(通常同じ平均で支払うことは滅多にない)の下ランが勝つ。
κ$という用語は、他のアイテムが落ち着くにつれて小さくなり始めます。
正直な評決を支払うことは、他の項目もそれへ引きずり込む。これは、支払い比率の天井を予測し、その上で、モデルが正直な評決を、どこが間違っているかを予測する。
命題データログでは、2つのコードモデルと2つの小学生数学の棄権があり、RLより前のモデルの成功率$p$は、$pr/b=1$以上の実行は崩壊せず、チェッカーの下を走ることはわずかに下回っている。
天井の上の$pr/b=3$で、両方のコードモデルが正しいプログラムの約半分をバギーと呼ぶ。
depth-3 Datalogでは、チェッカーの下で寛大にトレーニングを行い、それからペイオフをカットすることで、3つのシードに対して少なくとも67%の率でモデルを誠実に保ちます。
深度-2 データログでは、真に崩壊すると、RLの前に線形プローブが収まる。
関連論文リスト
- Latent Coherence: Do Frontier Language Models' Probability Judgments Obey the Law of Total Probability? [0.08460698440162888]
LawZeroのScientist AIは、ベイズ後部に向かって予測者を訓練する。
このようなトレーニングのない現行の言語モデルは、すでに一貫性があるかどうかを問う。
それぞれのクエリは正確な基幹確率を持ち、アイテムのサブセットが3つのワードで尋ねられ、永続的不整合とリワードノイズを分離する。
論文 参考訳(メタデータ) (2026-10-22T19:12:58Z) - What RL Brings to Reasoning: A Few Decisions the Base Model Would Not Make [29.80754976785316]
検証可能な報酬(RLVR)による強化学習は、数学的推論を大幅に改善するが、ベースモデルに追加するものは未だ不明である。
本研究は,Qwen3-4B-Base上での世代間介入により,120 AIME問題に対してRLを学習した相手の獲得率を測定した。
ベースモデルを"Alright"で開始させると、RLゲインの35%が回復します。
論文 参考訳(メタデータ) (2026-10-17T12:34:56Z) - The Impossible Trinity of Time-Series Validation: A Conservation Law among Training Sufficiency, Test Coverage, and Temporal Causality [1.290867562567741]
これら3つをひとつにまとめて、それぞれに価格を付けることはできないことを証明します。
長さ$T$のすべてのスキームは$+le 1+$と$+min,/T le 1$を満足し、テストポイントにおけるリークバイアスを$$-mixすると、少なくとも$M_mathrmmix()$である。
論文 参考訳(メタデータ) (2026-09-02T09:19:49Z) - Teacher-Free Self-Training Amplifies but Does Not Compound: A Pass@$K$ Crossover on a Free-Verifier Domain [0.0]
教師なしの「コンステレーション」でその疑問を解き明かす
すべてが4ビットのQwen3-4Bと24GBのGPUで動いています。
論文 参考訳(メタデータ) (2026-06-05T21:37:49Z) - CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル
各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。
コントラストエビデンスポリシー最適化(CEPO)を提案する。
CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
論文 参考訳(メタデータ) (2026-05-19T06:46:19Z) - Decoding-Time Debiasing via Process Reward Models: From Controlled Fill-in to Open-Ended Generation [0.0]
大規模な言語モデルは、トレーニングされたデータから社会的バイアスを拾い上げ、下流のアプリケーションにバイアスを運ぶ。
本稿では,デコーディング時にモデルをデバイアス化し,モデルの重みに触れることなく,候補トークンに対するバイアス緩和を構造化された探索として扱う。
我々は、高度化のための3つのスキーム(Best-of-N selection, Sequential critique-and-Revise, Constitutional self-audit)を設計し、4つのモデルで評価する。
論文 参考訳(メタデータ) (2026-05-04T08:51:34Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z) - Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。
しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。
対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
論文 参考訳(メタデータ) (2024-03-13T13:54:00Z) - Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning [54.585428241509234]
逆カリキュラム強化学習(RL)によるR$3の学習推論を提案する。
RLは、大規模言語モデルのプロセス監視の利点を達成するために、結果監視のみを採用する。
論文 参考訳(メタデータ) (2024-02-08T16:46:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。