論文の概要: Proof-Carrying Cognition: Closing the Verification Gap with Reality-Settled Reward
- arxiv url: http://arxiv.org/abs/2609.09776v1
- Date: Wed, 09 Sep 2026 06:24:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.916953
- Title: Proof-Carrying Cognition: Closing the Verification Gap with Reality-Settled Reward
- Title（参考訳）: Proof-Carrying Cognition:Real-Settled Rewardによる検証ギャップの閉鎖
- Abstract要約: 言語モデル推論のフロンティアゲインは、推論トレースに関する強化学習によって得られる。
我々は、フィールドの束縛制約が検証ギャップであると主張する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frontier gains in language-model reasoning come from reinforcement learning on reasoning traces and are concentrated in domains with a cheap, sound verifier. We argue the field's binding constraint is the verification gap: no scalable, incorruptible reward for reasoning outside formal domains. We make four contributions. (1) Theory: in a joint-Gaussian model of best-of-N selection, verifier-gold correlation rho is the exact exchange rate between test-time compute and capability, and an unsound verifier pays a polynomial penalty N^(1/rho^2); a margin-free copula form predicts realized soundness of real LLM judges to 4% median error. (2) Demonstration: in program-synthesis testbeds with executable ground truth, including a pre-registered scaled replication, unsound verifiers lose Soundness-under-Pressure as optimization grows (0.94 to 0.32 at N=4096) while a sound verifier improves monotonically; reality-anchored settlement beats a frozen verifier under i.i.d. and adversarial pressure, driving the hacking gap from ~0.27 to ~0; soundness scales log-linearly with settled labels, with on-policy settlement ~10x more label-efficient than random labeling. With real LLM judges and unit-test execution as gold, a weak judge loses soundness under best-of-N (p<0.001), a stronger judge is more robust, and selection alone manufactures +0.53 hacking gaps from honest samples. Under real GRPO training, a frozen reward model traces the full overoptimization curve (executed reward collapses 90%) while the same model refit on a 10% settlement stream preserves 6x the executed reward. (3) Paradigm: proof-carrying cognition, where reasoning steps are typed probabilistic claims priced by a self-built world model trained only on held-out reality and settled by proper scoring rules. (4) Benchmark: we specify Soundness-under-Pressure as the headline metric for a reality-settled reasoning benchmark.
- Abstract（参考訳）: 言語モデル推論のフロンティアゲインは、推論トレースの強化学習から得られ、安価で健全な検証を行うドメインに集中している。
我々は、フィールドの束縛制約が検証ギャップであると主張する。
私たちは4つの貢献をします。
1) 理論: ベスト・オブ・N選択の合同ガウスモデルにおいて、検証器とゴールド相関rhoはテスト時間計算と能力の正確な交換率であり、不協和検証器は多項式ペナルティ N^(1/rho^2) を支払う。
2)実証: 既登録の大規模複製を含むプログラム合成テストベッドでは,音質検証器は最適化が増加し,音質保証が失われる(N=4096で0.94～0.32)一方,音質検証器は単調に改善される。
真のLLM審査員とゴールドとしての単体テストの実行により、弱い審査員はNのベスト・オブ・N(p<0.001)で音質を失うが、強い審査員はより堅牢であり、選別だけでは正直なサンプルから0.53以上のハッキングギャップを生じる。
実際のGRPOトレーニングでは、凍結された報酬モデルは全過最適化曲線(実行された報酬は90%崩壊する)を辿り、同じモデルが10%の決済ストリームで修正され、実行された報酬の6倍が保存される。
(3) パラダイム: 仮説化の段階が、保持された現実のみに基づいて訓練され、適切なスコアリングルールによって解決された自己構築の世界モデルによって価格付けされた確率的クレームをタイプした証明担持認知。
(4) ベンチマーク: 実測に基づく推論ベンチマークの基準基準として, 音質・アンダー・プレッシャ(Soundness-under-Pressure)を指定する。
関連論文リスト
- Caliber: Cross-Architecture Extraction-Cost Control for Score-Returning APIs [27.21644231867863]
Caliberは、キャリブレーション問題としてノイズ選択を定式化するモデル抽出に対する防御である。
知識蒸留に返却されたスコアを使用する攻撃者に対して、Caliberは独立して同一に分散したガウスノイズを内部ロジットに追加する。
Caliberは、正方形中央2対数辺による雑音分散を正規化し、その結果の雑音効用関係をロジスティック曲線に適合させる。
論文 参考訳（メタデータ） (2026-08-02T05:58:00Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Falsification-Based Verification of LLM-Generated Optimization Models: Sound Test Batteries and Their Detection Limits [1.7545090618311434]
大規模言語モデルは、決定問題の自然言語記述をソルバ対応最適化モデルに変換するが、それらは静かに失敗する。
本稿では,この設定に対するファルシフィケーションに基づく検証理論を考案する。
記述中の全ての数値は型付きスロットであり、候補モデルはスロット変換されたインスタンスのソルバ呼び出しによってのみテストされる。
論文 参考訳（メタデータ） (2026-07-18T05:32:37Z) - PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。
飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。
1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文 参考訳（メタデータ） (2026-06-26T17:59:15Z) - A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR [1.2958054117511815]
報酬からの強化学習は、報酬信号が刺激的であっても推論を改善する。
実践者は一般的に、報酬-設計効果として naive = acc(TRUE) - acc(R) を解釈する。
我々はこの推定が体系的に偏っていることを証明している。
論文 参考訳（メタデータ） (2026-06-04T09:35:54Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - CoVerRL: Breaking the Consensus Trap in Label-Free Reasoning via Generator-Verifier Co-Evolution [52.691495954442985]
CoVerRLは1つのモデルがジェネレータと検証ロールを交換するフレームワークで、各機能が他方をブートストラップする。
Qwen と Llama のモデルファミリーでの実験では、CoVerRL は数理推論のベンチマークで4.7-5.9% でラベルなしのベースラインを上回っている。
自己検証の精度は55%から85%以上改善され、両方の能力が真に共存することを確認した。
論文 参考訳（メタデータ） (2026-03-18T14:38:55Z) - Outcome Accuracy is Not Enough: Aligning the Reasoning Process of Reward Models [108.26461635308796]
Rationale Consistencyは、モデルの推論プロセスと人間の判断のアライメントを定量化する、きめ細かい計量である。
我々のフロンティアモデルの評価では,最先端モデル間で合理的な一貫性が効果的に識別できることが示されている。
我々は、GenRMトレーニングの合理性一貫性と結果精度を組み合わせたハイブリッド信号を導入する。
論文 参考訳（メタデータ） (2026-02-04T15:24:52Z) - Mitigating LLM Hallucination via Behaviorally Calibrated Reinforcement Learning [32.32593439144886]
振舞い校正された強化学習により、小さなモデルは不確実な定量化においてフロンティアモデルを超えることができる。
当社のモデルでは,GPT-5の0.207を超える精度向上率(0.806)を挑戦的なドメイン内評価において達成している。
論文 参考訳（メタデータ） (2025-12-22T22:51:48Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。