論文の概要: A Reference-Free Score for Detecting Silent Reasoning Failures in Large Language Models
- arxiv url: http://arxiv.org/abs/2607.26102v1
- Date: Tue, 28 Jul 2026 07:28:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.428519
- Title: A Reference-Free Score for Detecting Silent Reasoning Failures in Large Language Models
- Title（参考訳）: 大規模言語モデルにおける無音推論故障検出のための基準自由スコア
- Abstract要約: Reasoning Answer Faithfulness Score (RAFS) は、出力された数学的トレースが局所的に信頼できるかどうかの基準自由なインスタンスレベルの診断である。
RAFSは、ステップの妥当性、解答の推論と反ファクトの感度、解答のコンセンサス、条件付き推論安定性を組み合わせている。
RAFSは、数学的な解答精度を、サイレント推論の失敗と解答の誤りに対する監査可能な警告信号で補完することを目的としている。
- 参考スコア（独自算出の注目度）: 1.0602247913671219
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mathematical chain of thought (CoT) evaluation is commonly reduced to whether the final answer matches a reference. This conflates producing a correct conclusion with producing a valid derivation an invalid chain can accidentally reach the right answer, while a valid calculation can be followed by a transcription error. We call this mismatch the reasoning answer consistency gap. This framework paper introduces the Reasoning Answer Faithfulness Score (RAFS), a reference free, instance level diagnostic of whether an emitted mathematical trace is locally credible, supports its answer, and is stable under resampling and targeted counterfactual interventions. RAFS combines step validity, reasoning to answer entailment and counterfactual sensitivity, answer consensus, and conditional reasoning stability. It evaluates transcript level agreement, not a models private computation and not factual correctness outside the tested mathematical setting. We retain a preregistered, results blind confirmatory study on GSM8K and MATH, with hypotheses, admissibility rules, calibration, and tests fixed before confirmatory outcomes are inspected. A separate feasibility pilot is specified to verify end to end execution and estimate interven tion coverage before that freeze numerical pilot claims are re ported only when trace level artifacts are available. We formalize four reasoning answer outcomes, justify the non compensatory aggregator, instantiate semantic trace distance, quantify compute and abstention tradeoffs, and define verifier independence and power analyses. RAFS is intended to complement mathematical answer accuracy with an auditable warning signal for silent reasoning failures and answer extraction errors
- Abstract（参考訳）: 思考の数学的連鎖(CoT)評価は、一般に最終回答が参照と一致するかどうかに還元される。
無効な連鎖が誤って正しい解に到達し、有効な計算を転写誤差で追従することができる。
私たちはこのミスマッチを理性的な回答の一貫性のギャップと呼んでいる。
本稿では,Reasoning Answer Faithfulness Score (RAFS)について紹介する。Reasoning Answer Faithfulness Score(RAFS)は,出力された数学的トレースが局所的に信頼できるかどうかのインスタンスレベルの診断であり,その応答をサポートし,再サンプリングおよび対実的介入の下で安定である。
RAFSは、ステップの妥当性、解答の推論と反ファクトの感度、解答のコンセンサス、条件付き推論安定性を組み合わせている。
これは、テストされた数学的設定の外の事実的正確性ではなく、プライベートな計算モデルではなく、転写レベルの一致を評価する。
本研究は,GSM8KとMATHについて,仮説,適合性規則,校正,検査前に固定された検査を予備登録し,盲検検査を行った。
フリーズ数値パイロットクレームがトレーサレベルのアーティファクトが利用可能である場合にのみ再ポートされる前に、エンド・ツー・エンドの実行を検証し、インターベンションカバレッジを推定するために、分離可能なパイロットが指定される。
我々は、4つの推論結果の形式化、非補償アグリゲータの正当化、意味的トレース距離のインスタンス化、計算と回避のトレードオフの定量化、検証独立とパワー分析の定義を行う。
RAFSは、無声推論障害と解答誤りに対する監査可能な警告信号で数学的解答精度を補完することを目的としている
関連論文リスト
- Autoformalizing Argumentative Material Inferences [26.35292656634472]
我々は、ガード補完として議論材料推論のための自己形式化を開発する。
GUARDは、証明された信条を大幅に改善する。
シンボル的ソフトな批判と明示的な仮定層がこれらの利益の大部分を担っていることを示す。
論文 参考訳（メタデータ） (2026-09-15T11:05:26Z) - AERA: Adaptive Evidence Residual Allocation for Efficient Test-Time Reasoning [22.964476507912327]
テストタイムスケーリングは、追加の候補ソリューションを生成することによって言語モデル推論を改善するが、すべての問題に同じ推論予算を割り当てることは、計算的に無駄である。
チェックポイントレベルの正しさは非単調に進化し、解答が崩壊する前に観測可能な証拠が強化され、回復前に弱まる可能性があることを示す。
本稿では,チェックポイント・オブザーバブル・エビデンスから,さらなる計算がより良い解が得られるかどうかを学習するシーケンシャル・コントローラであるアダプティブ・エビデンス・レシデンス・アロケーション(AERA)を紹介する。
論文 参考訳（メタデータ） (2026-08-28T06:21:07Z) - Calibrating Semantic Uncertainty from Observable Language-Model Probabilities [0.0]
言語モデルは単語よりも確率を生み出すが、専門的な決定は意味のある状態に対して不確実性を必要とする。
宣言された状態に対する言語応答から確率への応答に対する確率から、事前に特定され、検証可能なブリッジであるセマンティックマップを導入する。
我々は、存在、独自性、安定性、シーケンシャルなベイズ更新のための後エラー境界と条件を導出する。
論文 参考訳（メタデータ） (2026-07-20T00:29:04Z) - Certified Interventional Fidelity: Anytime-Valid, Adaptive Evaluation of Causal Claims in Mechanistic Interpretability [0.0]
Certified Interventional Fidelity (CIF)は、介入解釈可能性評価のための統計層である。
CIFは、高忠実性クレームを認定し、明らかな方法の違いが統計的にサポートされていないことを示し、介入分布に対する感度を明示する。
論文 参考訳（メタデータ） (2026-07-09T10:55:04Z) - VGPT-RSI for RH-Adjacent Formal Progress: Boundary Certificates, Verified Finite Lagarias Inequalities, and Explicit Failure Localization [4.067416725742151]
再帰的自己改善を伴う検証可能な成長物理変換器を2つのRH隣接認証タスクに適用する。
まず、領域上のパラメータ化された安全な下曲線上で、不等式に対する有限RH境界証明書を構築し、検証する。
第二に、公式なラガリア・ルート証明書を開始する。ラガリアの基準では、RHは世界的不平等と同値である。
論文 参考訳（メタデータ） (2026-06-13T04:12:25Z) - Trust but Verify: Prover-Verifier Deliberation for Selective LLM Prediction [4.273094752480624]
本稿では,対話的証明理論に基づく推論時間プロトコルであるPVDを導入する。
PVDは回答と構造化された信頼判定の両方を生成し、システムは不確実なケースを棄却しながら高信頼の回答を報告できる。
論文 参考訳（メタデータ） (2026-05-24T15:23:27Z) - FACT-E: Causality-Inspired Evaluation for Trustworthy Chain-of-Thought Reasoning [49.65751420291115]
CoT(Chain-of-Thought)プロンプトはLSM推論を改善したが、モデルはしばしば不誠実な中間ステップを含むコヒーレントな説明を生成する。
我々は、CoTの品質を評価するための因果性に着想を得たフレームワークであるFACT-Eを提案する。
FACT-Eは推論・軌道選択を改善し、文脈内学習を強くすることを示す。
論文 参考訳（メタデータ） (2026-04-12T15:35:08Z) - Correct Answers from Sound Reasoning: Verifiable Process Supervision for Language Models [94.68358825189738]
本稿では,予測精度と推論品質を協調的に最適化する検証済み領域の学習後フレームワークを提案する。
我々は,エンジン信号に対して推論ステップを確定的に検証できる制御テストベッドであるチェスのVPSを評価する。
VPSは、推論品質を著しく向上させながら精度を保ち、勝利率エラーを最大30%削減し、一貫性をほぼ飽和状態に回復する。
論文 参考訳（メタデータ） (2026-04-03T15:19:46Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳（メタデータ） (2026-01-23T17:17:32Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳（メタデータ） (2025-05-17T04:16:36Z) - Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。
我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。
実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
論文 参考訳（メタデータ） (2024-04-04T11:32:03Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。