論文の概要: Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2609.04194v1
• Date: Thu, 03 Sep 2026 17:59:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.200684
• Title: Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
• Title（参考訳）: 正当性は解釈不可能--連鎖-Of-Thought推論における判断と現実的重要性の比較
• Abstract要約: チェーンオブソートモデルからの推論は、モデルが解答にどう着くかの、妥当な窓を提供するように見える。 我々はその利点として推論ステップの重要性を運用する。 十分な能力を持つLLMは、有病率ベースラインよりも優れるが、ノイズ天井にかなり劣っていることが判明した。
• 参考スコア（独自算出の注目度）: 48.96460246231164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning traces from chain-of-thought models appear to offer a legible window into how a model arrives at its answer. A growing body of work treats them as such, using LLM judges to diagnose errors, evaluate faithfulness, and provide step-level supervision via process reward models and generative critics. These practices rely on the text of a reasoning step carrying information about its functional role. But does the text actually encode information about which reasoning steps matter? We operationalize the importance of a reasoning step as its advantage: the change in expected reward, e.g., producing the correct final answer, from including that step, estimated via Monte Carlo rollouts. Basing ground truth on these estimates, we evaluate whether LLM judges can identify high-advantage steps and find that sufficiently capable LLMs can outperform a prevalence baseline but fall well short of a noise ceiling. Fine-tuning a model as a step-level critic yields strong improvement for incorrect responses but remains distant from ceiling for correct responses, suggesting that step importance is only partially recoverable from the text of the reasoning trace. Our findings contribute to a growing body of chain-of-thought faithfulness work that cautions against treating the legibility of reasoning traces as interpretability, especially with implications for process reward modeling.
• Abstract（参考訳）: チェーンオブソートモデルからの推論は、モデルが解答にどう着くかの、妥当な窓を提供するように見える。 LLMの審査員は、誤りの診断、誠実さの評価、プロセス報酬モデルや生成的批判を通じて段階的な監督を行う。 これらのプラクティスは、その機能的役割に関する情報を運ぶ推論ステップのテキストに依存しています。 しかし、このテキストはどの推論手順が重要かという情報を実際にエンコードしているのだろうか? 予測報酬の変化、例えば、モンテカルロのロールアウトで見積もられたこのステップを含め、正しい最終回答を生成する。 これらの推定に基づいて,LLM判定器が高次ステップを識別できるかどうかを評価し,十分な能力を有するLLMが有病率ベースラインを上回りうるが,騒音天井にかなり不足していることを確かめる。 ステップレベルの批判としてモデルを微調整することは、誤った応答に対して強い改善をもたらすが、正しい応答のために天井から離れたままであり、ステップの重要性は、推論トレースのテキストから部分的に回復可能であることを示唆している。 本研究は,特にプロセス報酬モデルに影響を及ぼす原因として,推論トレースの正当性を解釈可能性として扱うことへの注意を喚起する,チェーン・オブ・マインドフルネス・ワークの成長に寄与する。

関連論文リスト

• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• Stop Rewarding Hallucinated Steps: Faithfulness-Aware Step-Level Reinforcement Learning for Small Reasoning Models [59.6715047267181]
  小さな推論モデル(SRM)は、特に中間的推論ステップにおいて幻覚を起こす傾向がある。 オンライン強化学習に基づく既存の緩和手法は、結果に基づく報酬や粗粒度の連鎖評価に依存している。 本稿では、プロセス報酬モデルから、明示的な忠実度報酬を通じてステップレベルの監視を導入する、Fithfulness-Aware Step-Level Reinforcement Learning (FaithRL)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T17:15:12Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Journey Before Destination: On the importance of Visual Faithfulness in Slow Thinking [11.763473690046721]
  推論の拡張された視覚言語モデルは、より大きな能力と透明性を約束する明確な思考の連鎖を生成する。 モデルは、視覚的に不誠実な中間段階によって正しい答えに達するか、あるいは最終的な予測において、合理的に失敗する。 本稿では, 推論連鎖の知覚段階が画像中に存在するか否かに着目し, 推論鎖の視覚的忠実度を評価次元として紹介する。
  論文  参考訳（メタデータ） (2025-12-13T07:04:42Z)
• What Defines Good Reasoning in LLMs? Dissecting Reasoning Steps with Multi-Aspect Evaluation [67.47463575774388]
  我々は推論品質を関連性と一貫性の2つの次元に分解する。 これらの側面を確実に測定するために、因果的段階評価(CaSE)を導入する。 トレーニングデータをCaSEで評価した妥当性とコヒーレンスでキュレートすることで、最終タスクのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-10-23T14:30:37Z)
• Making Reasoning Matter: Measuring and Improving Faithfulness of Chain-of-Thought Reasoning [38.60086807496399]
  大きな言語モデル(LLM)は、質問に答える前にステップバイステップの推論を求めると、よりよいパフォーマンスを示すことが示されている。 モデルの最終回答がどの程度、説明された推論ステップに忠実であるかは定かではない。 FRODOは、小さなLMを調整して正しい推論ステップを生成し、これらのステップに対して堅牢な推論を行うためのフレームワークである。
  論文  参考訳（メタデータ） (2024-02-21T17:23:59Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Question Decomposition Improves the Faithfulness of Model-Generated Reasoning [23.34325378824462]
  大規模言語モデル(LLM)は、その振る舞いの正しさと安全性を検証するのが困難である。 一つのアプローチは、LLMが質問に答えるときにステップバイステップの推論を生成することによって、彼らの推論を外部化するように促すことである。 このアプローチは、モデルの実的推論を忠実に反映する記述された推論に依存しており、必ずしもそうではない。 分解に基づく手法は、時にはCoTの手法に近づき、質問応答タスクにおいて高い性能を達成する。
  論文  参考訳（メタデータ） (2023-07-17T00:54:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。