論文の概要: ClaimScope: Label-Blind Witness Verification for Mathematical Claim Auditing
- arxiv url: http://arxiv.org/abs/2610.21581v1
- Date: Thu, 15 Oct 2026 09:29:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.305987
- Title: ClaimScope: Label-Blind Witness Verification for Mathematical Claim Auditing
- Title（参考訳）: ClaimScope:数学的クレーム監査のためのラベル・ブラインド・ウィットネス検証
- Abstract要約: ClaimScopeは、検証、スコープ、反例、修復を通じて提案されたクレームを監査するための72タスクのベンチマークである。
証人チェッカーはモデルが提出した状態のみを評価する。
検証対象のフィードバックは、無効なクレームに対する23ドル/39ドル、セーフコンプリートに対する25ドル/72ドル、チェッカーフリーのジェネリックフィードバックに対する15ドル/39ドルと20ドル/72ドルである。
- 参考スコア（独自算出の注目度）: 2.0474890225194193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mathematical agents are commonly evaluated by answer accuracy or proof acceptance. We introduce ClaimScope, a 72-task benchmark for auditing proposed claims through a verdict, scope, counterexample, and repair. Tasks cover optimizer-state transport, finite-horizon affine recurrences, and exact $2\times2$ linear algebra. We evaluate Qwen3-8B with direct generation and four matched two-pass conditions, each starting from the same draft. A witness checker evaluates only the model's submitted state, without consulting reference verdicts or supplying a replacement witness. Its feedback still conveys information about validity: a verified refutation establishes that the claim is false, and rejection reasons can suggest structural fixes. In this evaluation, verifier feedback yields $23/39$ accepted counterexamples on invalid claims and $25/72$ safe completions, compared with $15/39$ and $20/72$ for checker-free generic feedback. Strict completion remains $17/72$; verdict accuracy changes from $47/72$ to $46/72$. The claim-grouped safe-completion difference is $.094$, with a bootstrap 95\% interval of $[.000,.198]$. All seven task-level gains follow horizon/input-length diagnostics. A post-hoc schema-only correction of the direct outputs reaches the same 25 safe tasks without another model call. These results separate claim classification from executable evidence, while locating the observed gains in witness-structure correction rather than demonstrating broader reasoning improvement.
- Abstract（参考訳）: 数学的なエージェントは、答えの正確さや証明の受け入れによって一般的に評価される。
ClaimScopeは72タスクのベンチマークで、検証、スコープ、反例、修復を通じて提案されたクレームを監査する。
タスクは、オプティマイザ状態輸送、有限ホライゾンアフィン再帰、および正確な2\times2$線型代数をカバーしている。
直接生成したQwen3-8Bと一致した2パス条件をそれぞれ同一のドラフトから開始する。
証人チェッカーはモデルが提出した状態のみを評価する。
検証された反論は、クレームが偽であることを示すものであり、拒絶理由は構造的な修正を示唆する可能性がある。
この評価では、検証者フィードバックは不正なクレームに対する23ドル/39ドル、セーフコンプリートは25ドル/72ドル、チェッカーフリーのジェネリックフィードバックは15ドル/39ドルと20ドル/72ドルとなる。
精度は47/72ドルから46/72ドルに変更されている。
クレームグループによるセーフコンプリートの違いは$094$で、ブートストラップ95\%インターバルは$[.000,.198]$である。
7つのタスクレベルのゲインはすべて、水平/入出力長の診断に従う。
直接出力のポストホックスキーマのみの補正は、他のモデル呼び出しなしで同じ25の安全なタスクに達する。
これらの結果は、より広範な推論改善を示すのではなく、目撃者構造補正において観察された利益を突き止めながら、実行可能な証拠からクレーム分類を分離する。
関連論文リスト
- When Correctness Feedback Erases Evidence: Phase-Separated Completeness Auditing in Verus [0.12062777974093623]
正当性フィードバックは、仕様完全性監査が明らかになるように設計されていることを示す。
提案手法は、4つのモデルファミリーを対象とした12のVerus/Rustタスクにおいて、一致したコール予算の下で、この目的を逆転させるものである。
論文 参考訳（メタデータ） (2026-10-14T14:43:24Z) - Beyond the Verdict: Agentic Code Judging with Verifiable Feedback [54.72977295521153]
我々は,人間の専門家による受諾プログラムと受諾プログラムを用いて,USACO 2026コンテストからUSACO-JUDGEを構築した。
次に、35Bのエージェント検証器であるARBITERを、汎用的な実行サンドボックスで強化学習して訓練する。
トレーニングは、不正なプログラムを40.61%から62.67%に、二分判定の精度を71.41%から87.41%に引き上げる。
論文 参考訳（メタデータ） (2026-10-13T17:22:58Z) - VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。
本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。
コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。
これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
論文 参考訳（メタデータ） (2026-10-01T03:02:17Z) - The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
本研究は, ベットによる検査に基づく漏洩検出について検討する。
13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
論文 参考訳（メタデータ） (2026-09-27T14:14:10Z) - Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing [0.0635655952373977]
本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。
StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。
StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
論文 参考訳（メタデータ） (2026-09-26T08:54:21Z) - TwinCheck: Evidence-Grounded Negative-Twin Verification for Stateful Tool Agents [1.1279808969568255]
TwinCheckは、トレースがトレースローカル障害仮説に結びついている証拠条件を満たす場合にのみ、置換を検討するポリシーである。
ペア評価の場合、正確なリプレイはエージェントのパースされた応答とアクションを保持し、最初の置換が受け入れられるまで固定される。
論文 参考訳（メタデータ） (2026-09-22T18:09:40Z) - Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。
我々はこの失敗を2つの歴史監査で調査する。
パイロットは6つの合成機構の24の履歴ペアを評価する。
論文 参考訳（メタデータ） (2026-09-17T10:51:37Z) - Looping Is Not Reliability: State-Bound Evidence and Typed Revision Contracts for Agentic Code Repair [36.56438114281786]
正しいパッチの発見と保持、検証、提出のギャップについて検討する。
我々はエビデンスバウンド型ループ契約を導出し、その機械的に強制可能なサブセットを参照実装でインスタンス化する。
論文 参考訳（メタデータ） (2026-07-27T16:05:23Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。
これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。
我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
論文 参考訳（メタデータ） (2020-03-05T16:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。