論文の概要: Correct Answers, Invalid Traces: What Verifiable Grade-School Math Reveals About Chain-of-Thought Traces

• arxiv url: http://arxiv.org/abs/2609.38107v1
• Date: Tue, 29 Sep 2026 17:46:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.805819
• Title: Correct Answers, Invalid Traces: What Verifiable Grade-School Math Reveals About Chain-of-Thought Traces
• Title（参考訳）: 正解, 正解, 正解, 正解, 正解, 正解, 正解, 正解, 正解, 正解
• Abstract要約: 学習した推論と計画の主張を支援するために使用されるトレースについて研究する。 まず、有効な最小限のトレースに特化して訓練されたモデルを評価する。 その後、私たちは追跡監視に介入します。
• 参考スコア（独自算出の注目度）: 15.709289123537593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-thought traces are widely read as records of how models reach their answers, informing debugging, agent auditing, and claims about reasoning. Testing this interpretation is difficult because natural-language thinking traces are rarely mechanically verifiable. We revisit it in iGSM, a synthetic grade-school mathematics benchmark designed to study thinking traces and used to support claims of learned reasoning and planning. Crucially, iGSM exposes the exact quantities and dependencies that a correct solution should use, allowing generated traces to be checked programmatically step by step and enabling us to test whether correct answers are reliably accompanied by valid traces. We first evaluate models trained exclusively on valid, minimal traces. Answer correctness and trace validity nearly coincide in distribution but decouple out of distribution: on the hardest instances, 31.6% of correct answers have invalid traces, over half of which pass all syntactic and arithmetic checks but fail semantic dependency checks. We then intervene on trace supervision. Non-minimal training traces induce non-minimal outputs, while re-asking the same problem with a different query reveals computations inherited from the original query, weakening minimality as evidence of selective planning. Shuffling tokens in 10% of training trace sentences preserves near-clean accuracy even out of distribution despite no trace passing verification. Swapped training traces likewise retain high in-distribution accuracy. We discuss the implications of these findings for chain-of-thought monitoring and interpretation in the context of AI safety.
• Abstract（参考訳）: チェーンオブソートトレースは、モデルがどのように回答に達するかの記録として広く読まれ、デバッグ、エージェント監査、推論に関するクレームが通知される。 この解釈をテストするのは難しいのは、自然言語の思考トレースが機械的に検証されることが滅多にないからである。 iGSMは、思考トレースを研究するために設計され、学習した推論と計画のクレームを支援するために使用される合成小学校数学のベンチマークである。 重要なことに、iGSMは正しいソリューションが使用するべき正確な量と依存関係を公開し、生成されたトレースを段階的にプログラム的にチェックし、正しい回答が有効なトレースに確実に付随しているかどうかをテストできるようにします。 まず、有効な最小限のトレースに特化して訓練されたモデルを評価する。 最も難しい例では、31.6%の正解が不正なトレースを持ち、その半数以上が構文と算術のチェックをすべてパスするが、意味的依存チェックは失敗する。 その後、私たちは追跡監視に介入します。 非最小のトレーニングトレースは、最小限の出力を誘導する一方で、異なるクエリで同じ問題を再割り当てすると、元のクエリから受け継いだ計算が明らかになり、選択的な計画の証拠として最小化が弱まる。 トレーニングトレース文の10%のシャッフルトークンは、トレースパス検証をしていないにもかかわらず、分布外においてもほぼクリーンな精度を保っている。 スワップされたトレーニングトレースも同様に、分配精度が高い。 本稿では,これらの知見がAI安全性の文脈における連鎖監視や解釈に与える影響について論じる。

関連論文リスト

• A Reference-Free Score for Detecting Silent Reasoning Failures in Large Language Models [1.0602247913671219]
  Reasoning Answer Faithfulness Score (RAFS) は、出力された数学的トレースが局所的に信頼できるかどうかの基準自由なインスタンスレベルの診断である。 RAFSは、ステップの妥当性、解答の推論と反ファクトの感度、解答のコンセンサス、条件付き推論安定性を組み合わせている。 RAFSは、数学的な解答精度を、サイレント推論の失敗と解答の誤りに対する監査可能な警告信号で補完することを目的としている。
  論文  参考訳（メタデータ） (2026-07-28T07:28:38Z)
• Online Learnability of Chain-of-Thought Verifiers: Soundness and Completeness Trade-offs [34.168578803480116]
  連鎖検証を学習するためのオンライン学習フレームワークを提案する。 学習した検証器は、弱い証明者の集合の精度を高めるためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2026-03-03T21:50:14Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)
• Interpretable Traces, Unexpected Outcomes: Investigating the Disconnect in Trace-Based Knowledge Distillation [14.489157453882767]
  この研究は、推論トレースと最終的なパフォーマンスとの相関を評価することの課題に対処することを目的としている。 規則に基づく問題分解を利用して解釈可能なトレースを生成する。 具体的には、この問題を分類ステップと情報検索ステップに分解して、オープンブックQAにおけるこのアプローチを実証する。
  論文  参考訳（メタデータ） (2025-05-20T00:49:19Z)
• Beyond Semantics: The Unreasonable Effectiveness of Reasonless Intermediate Tokens [14.78605805191225]
  中間トークンのセマンティクスが「思考」や「推論トレース」として人間化され、実際にモデル性能にどのように影響するかを考察する。 解のみのベースラインが大幅に改善されているにもかかわらず、完全に正しいトレースで訓練されたモデルは、正しい解に到達すると、いまだに不正な推論トレースを生成する。
  論文  参考訳（メタデータ） (2025-05-19T23:29:23Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。