論文の概要: Detection Is Not Enough: Reasoning Traces as Testable Program Hypotheses

• arxiv url: http://arxiv.org/abs/2610.30200v1
• Date: Wed, 21 Oct 2026 08:25:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.082524
• Title: Detection Is Not Enough: Reasoning Traces as Testable Program Hypotheses
• Title（参考訳）: テスト可能なプログラム仮説としてトレースを推論する
• Abstract要約: 言語モデルがデプロイされると、参照ソリューションが存在しないため、それが書き込む推論トレースがその答えを判断する唯一の証拠である。 参照ソリューションも判断モデルも重み更新もなしで、単一のトレースがどの程度の精度で検証できるかを問う。 GSM8K上の冷凍LLaMA-2-7Bチャットの場合、検出はそのようなパイプラインを制限するものではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a language model is deployed, no reference solution exists, so the reasoning trace it writes is the only evidence for judging its answer. The reference-free substitutes each fail differently: self-assessment degrades the answer it was meant to protect, sampling agreement measures stability rather than correctness, and perturbation studies read the expected answer off a human-written template, grading a model rather than a trace. We ask how far a single trace can be verified with no reference solution, no judge model and no weight update, and find, for a frozen LLaMA-2-7B-chat on GSM8K, that detection is not what limits such a pipeline. Checking a trace against itself reaches an AUROC of 0.741 and stops there for a structural reason: two thirds of wrong traces state no false equation, having executed a mistaken plan correctly, and on wrong-plan failures the detector flags a wrong trace less often than a right one. A candidate-derived metamorphic probe exposes many of these failures: we abstract the trace into a program over the question's quantities, perturb one quantity, execute the program, and ask the model the rewritten question once, so every trace supplies its own test. Valid perturbations exist for 937 of 1,319 test questions (71.0%); among the 847 that also have a parseable first trace, supported traces are correct 60.6% of the time against a 31.6% base rate, although the probe also refutes 45.5% of correct traces. No tested policy yields a statistically significant improvement in accuracy. A flag earns its retry only when detector precision exceeds D/(R+D), where R and D are the rates at which a retry repairs a wrong trace and damages a correct one; our repair rate is so low that, at the same retry budget, even a perfect detector would recover an estimated 66 of 1,319 questions. Repair, not detection, is the open problem.
• Abstract（参考訳）: 言語モデルがデプロイされると、参照ソリューションが存在しないため、それが書き込む推論トレースがその答えを判断する唯一の証拠である。 自己評価は保護を意図した回答を分解し、合意のサンプリングは正確性よりも安定性を計測し、摂動研究は、人間が書いたテンプレートから期待する回答を読み取って、トレースではなくモデルに分解する。 GSM8K上の冷凍LLaMA-2-7B-chatの場合、検出はそのようなパイプラインに制限はない。 間違ったトレースの3分の2は誤った方程式を示さず、間違ったプランを正しく実行し、間違った計画の失敗で検知器は間違ったトレースを正しいものよりも少ない頻度でフラグする。 候補から派生したメタモルフィックプローブは、これらの失敗の多くを露呈する: 問題の量についてトレースをプログラムに抽象化し、1つの量を摂動し、プログラムを実行し、再記述された質問をモデルに問うことにより、すべてのトレースが独自のテストを提供する。 有効な摂動は1,319の試験質問のうち937件(71.0%)で存在し、解析可能なファーストトレースを持つ847のうち、支持されたトレースは31.6%のベースレートに対して60.6%正しいが、プローブは45.5%の正しいトレースを否定する。 検査された政策は、統計的に精度が著しく向上する。 フラグは、検出精度がD/(R+D)を超える場合にのみリトライを受け取り、RとDは、リトライが間違ったトレースを修復し、正しいトレースを損傷するレートである。 修復は検出ではなく、オープンな問題です。

関連論文リスト

• What the Trace Shows and What the Label Says: Auditing Behavioral Detectors in Agent Evaluation [3.539336171940828]
  LLMエージェントは、最終回答の正しさ、ツール検証、障害伝播などのラベルに対する実行トレースを減らすことでしばしば評価される。 我々はこれをGSM8K上に構築したツール利用設定で研究し、エージェントは時折出力が劣化する電卓を呼ぶ。 6つの生産モデルに3つのトレースレベル検出器と1つのモデルに30の問題を検査する。
  論文  参考訳（メタデータ） (2026-10-21T22:18:16Z)
• Repairing LLM-Generated Specifications with Deterministic Diagnosis [48.79311600023815]
  大型言語モデル (LLM) はフォーミュラライザとしてますます使われている。 LLMは、シンボリック・ソルバが解決できる形式的な仕様を作成し、その仕様に対して保証する。 多くの仕様は実行可能であるが、意味的に間違っている。誤った制約、ドメイン、目的、述語、目標を符号化する。 DRAGOは、この未解決の批判を決定論的、フォーマリズム固有の診断に置き換える修復フレームワークである。
  論文  参考訳（メタデータ） (2026-10-15T19:12:54Z)
• Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training [45.727227890697556]
  我々は,9,961のソースタスクから50,228のエラー診断ペアからなるエージェントエラーデータセット(AED)を紹介した。 5段階のAgenic Error-to-Trainingパイプラインは自然の故障を収集し、診断と修正案を生成し、記録された証拠と照合する。 アクタートレーニングのレシピの比較において、アクションオンリーの修復トレーニングは成功オンリーのトレーニングよりもWebShop-liteの方が6.67ポイント高い。
  論文  参考訳（メタデータ） (2026-09-30T16:40:22Z)
• Routing Probes Can Improve Without New Information: An Exact-Null Audit of Uncertainty Beyond Model Outputs [14.727396825167917]
  現代の視覚変換器のルーティング信号は、しばしばモデルが正しいかどうかを予測するプローブを改善する。 この推論は、解離データに固定された凍結出力のみのジェネレータから正当性ラベルを再描画することによって直接テストする。 実正性ラベルについて、条件解析は、DeiTの5つの注意-残留族におけるモデル的証拠をもたらす。
  論文  参考訳（メタデータ） (2026-09-30T04:22:18Z)
• The Price of Peeking: Anytime-Valid Leakage Detection on ML-KEM EM Traces [45.88028371034407]
  本研究は, ベットによる検査に基づく漏洩検出について検討する。 13000～20000のサンプルに対して繰り返し表示される$|t|>4.5$は2.7-12.9%の複製で誤報を発生させた。
  論文  参考訳（メタデータ） (2026-09-27T14:14:10Z)
• The Answer Is Not the Argument [0.00897008283486962]
  チェーンオブ思考監視はAI監視のために提案されているが、評価は、しばしば信頼できる参照回答を提供する。 回答アクセスが推論検証を改善するのか、それとも主に誤った結論を公開するのかを問う。
  論文  参考訳（メタデータ） (2026-08-31T19:06:44Z)
• When Self-Consistency Backfires: Majority Vote Hurts the Majority of Hard Science Problems for Small LLMs [0.0]
  多数決による自己整合性は、小命令チューニングモデルのGPQAダイアモンド問題において、プロブレム毎の精度を低下させる。 このバージョンでは、最も自然な修復も失敗し、v1が1つとして扱われた3つの信号障害を分離する。
  論文  参考訳（メタデータ） (2026-08-11T20:08:51Z)
• Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
  ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。 答えの正しさはあらゆるレベルで問題を構成する。
  論文  参考訳（メタデータ） (2026-07-26T04:43:53Z)
• Tracing Uncertainty in Language Model "Reasoning" [46.61902399979181]
  言語モデル(LM)は、一般的にChain-of-Thoughtまたはテストタイムスケーリングと呼ばれ、しばしばベンチマークのパフォーマンスを改善する。 本研究では,LMが生成する中間トークン列である「推論」トレースを進化的モデル状態として扱うことにより,これらのダイナミクスを考察する。
  論文  参考訳（メタデータ） (2026-05-08T14:16:37Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。