論文の概要: Risk-Controlled Lean-as-Judge for Natural-Language Mathematical Reasoning
- arxiv url: http://arxiv.org/abs/2605.28365v1
- Date: Wed, 27 May 2026 11:59:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.028907
- Title: Risk-Controlled Lean-as-Judge for Natural-Language Mathematical Reasoning
- Title（参考訳）: 自然言語数理推論におけるリスク制御型リーン・アズ・ジャッジ
- Authors: Pauline Bourigault, Xiaotong Ji, Matthieu Zimmer, Rasul Tutunov, Haitham Bou Ammar,
- Abstract要約: リーンは、自然言語の数学的答えを判断するのにますます使われていますが、その信号は部分的です。
このシグナルは (i) 急激なカバレッジ依存であり, 証明に勝つ答えは高いカバレッジでは96%の確率で正しいが, 20%は低い。
7Bオートフォーマライザはわずか28%の問題でクラスを証明し、マニュアル監査ではその約43%が忠実であることがわかった。
受理された回答や棄権に縛られた有限サンプル選択リスクを認証する,リーントレース診断のためのセレクタであるCOVCALを提案する。
- 参考スコア（独自算出の注目度）: 16.398764816978584
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Lean is increasingly used to judge natural-language mathematical answers, but its signal is partial: many answers never formalize, and a failed proof may reflect an ill-typed statement or a missing library fact, not a wrong answer. On MATH-500 we show this signal is (i) sharply coverage-dependent, that is the proof-winning answer is correct 96% of the time at high proved coverage but 20% at low, and (ii) sparse and often unfaithful: a 7B autoformalizer proves a class for only 28% of problems, and a manual audit finds only approximately 43% of those proofs faithful. We propose COVCAL, a selector over Lean-trace diagnostics that certifies a finite-sample selective-risk bound on accepted answers or abstains, under two regimes (a conservative Bonferroni bound and a tighter dev-then-cal rule). Feasibility depends on autoformalization coverage: with the 7B formalizer the signal is too sparse and Bonferroni abstains on all 20 bootstrap partitions, whereas a prover-specialized formalizer reaches 79% coverage and flips it to feasible on 17 of 20, accepting approximately 48% of problems at 0.98 accepted accuracy. Since self-consistency alone is already 91% accurate, our contribution is a precise account of when, and with which formalizer, a partial formal signal can be trusted under risk control.
- Abstract（参考訳）: リーンは、自然言語の数学的答えを判断するのにますます使われていますが、その信号は部分的です。多くの答えは形式化されません。
MATH-500では、この信号は
(i)急激なカバレッジ依存、すなわち証明に勝つ答えは、高いカバレッジでは96%の確率で正しいが、低い場合は20%、そして
7Bオートフォーマライザはわずか28%の問題でクラスを証明し、マニュアル監査ではこれらの証明の約43%が忠実であることがわかった。
我々は,2つの体制(保守的なボンフェロニ境界とより厳密なデベズ・テン・カル則)の下で,受理された回答や棄権に基づく有限サンプル選択リスクを認定する,リーントレース診断のためのセレクタであるCOVCALを提案する。
7Bフォーミュラでは信号はスパースであり、ボンフェロニは20個のブートストラップのパーティション全てに収まるが、証明されたフォーミュラライザは79%の範囲に達し、20年中17日に約48%の問題を0.98の精度で受け入れる。
自己整合性だけではすでに91%の正確性があるので、我々の貢献は、いつ、どのフォーミュラ化剤がリスクコントロールの下で部分的な正式なシグナルを信頼できるかの正確な説明である。
関連論文リスト
- Geometry-Calibrated Conformal Abstention for Language Models [25.731621771885887]
無知を認めるためにモデルをトレーニングすることは、過度に保守的な行動を引き起こす可能性がある。
本稿では,コンフォメーション予測(CP)を応用したポストホックフレームワークであるConformal Abstention (CA)を提案する。
論文 参考訳（メタデータ） (2026-04-30T14:20:16Z) - Causal-Audit: A Framework for Risk Assessment of Assumption Violations in Time-Series Causal Discovery [1.7192141121569653]
Causal-Auditは、仮定検証をキャリブレートされたリスクアセスメントとして形式化するフレームワークである。
このフレームワークは、5つの仮定ファミリにまたがるエフェクトサイズの診断を計算する。
証拠が信頼できる推論をサポートする場合にのみメソッドを推奨する、控え目な決定ポリシーを適用する。
論文 参考訳（メタデータ） (2026-04-02T19:43:57Z) - When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models [2.064612766965483]
MedMCQA(4,183質問)とPubMedQA(1,000質問)でMedGemma(4Bおよび27Bパラメータ)を評価する。
実験の結果,いくつかの知見が得られた。
論文 参考訳（メタデータ） (2026-03-26T23:04:20Z) - LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。
我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。
本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
論文 参考訳（メタデータ） (2025-12-01T11:27:09Z) - CGES: Confidence-Guided Early Stopping for Efficient and Accurate Self-Consistency [3.2807118426157493]
大規模な言語モデル(LLM)はテスト時に何度もクエリされ、多数決によって予測される。
本稿では,ベイズ的フレームワークであるCGES(Confidence-Guided Early Stopping)を紹介する。
CGESは、候補者の後部質量が閾値を超えるとサンプリングを適応的に停止する。
論文 参考訳（メタデータ） (2025-11-04T14:25:54Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Selective Risk Certification for LLM Outputs via Information-Lift Statistics: PAC-Bayes, Robustness, and Skeleton Design [6.908972852063454]
我々は,モデル確率を骨格ベースラインと比較し,重み付き境界の下で有効なPAC-Bayesに証拠を蓄積する情報リフト証明書を開発した。
8つのデータセットにまたがって77.2%のカバレッジを2%のリスクで達成し、最近の2023～2024のベースラインを8.6～15.1ポイント上回った。
論文 参考訳（メタデータ） (2025-09-16T00:05:54Z) - COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。
COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。
リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
論文 参考訳（メタデータ） (2025-06-25T07:04:49Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳（メタデータ） (2023-06-14T21:22:01Z) - Reliable Visual Question Answering: Abstain Rather Than Answer
Incorrectly [100.60560477391732]
我々は、信頼性のある視覚的質問応答(VQA)のための問題定式化を促進する。
私たちは、彼らのカバレッジ、回答された質問の一部、そしてその部分のエラーの両方を分析します。
最高のパフォーマンスモデルは、VQA v2データセットで71%以上の精度を達成するが、そのオプションを導入することで、低いエラー(1%)のリスクを達成するために、8%未満の質問に答えることが制限されることがわかった。
これにより、マルチモーダル選択関数を用いて、予測された回答の正しさを直接推定し、例えば5.0%から16.7%のカバレッジを3倍にすることができることを示す。
論文 参考訳（メタデータ） (2022-04-28T16:51:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。