論文の概要: Measuring Reasoning Trace Legibility: Can Those Who Understand Teach?
- arxiv url: http://arxiv.org/abs/2603.20508v1
- Date: Fri, 20 Mar 2026 21:23:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:38.942398
- Title: Measuring Reasoning Trace Legibility: Can Those Who Understand Teach?
- Title（参考訳）: トレーサビリティを計測する - 教師の理解は可能か?
- Authors: Dani Roytburg, Shreya Sridhar, Daphne Ippolito,
- Abstract要約: 我々は、12の推論言語モデル(RLM)から90kのトレースを評価し、その推論トレースの品質を評価した。
もっとも高い性能のモデルにおける推論の痕跡が、可視性において最下位にランクされていることが判明した。
- 参考スコア（独自算出の注目度）: 14.267421398274571
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models are increasingly being trained to "reason" before answering users' queries, outputting hundreds or even thousands of tokens worth of deliberation before their final answer. While the main intention of reasoning is to improve models' ability to arrive at a correct answer, we argue that these models should be assessed for the legibility of their reasoning traces in addition to the correctness of their final answers. In this paper, we evaluate 90k traces from 12 Reasoning Language Models (RLMs) for the quality of their reasoning traces. We introduce the concept of transfer utility, which assesses how useful an RLM's reasoning traces are for guiding a weaker, non-reasoning model toward arriving at the correct answer. We find that the reasoning traces of the highest-performing models rank among the lowest for legibility. Furthermore, we uncover tensions between efficiency-based measurements of legibility (such as trace length) and transfer utility. These tensions establish a legibility Pareto frontier, and we demonstrate that an RLM's ability to output highly legible traces can be a task- and audience-dependent goal. Crucially, we find that reward models used to train RLMs do not intrinsically reward legibility. Together, these metrics and the findings they surface chart a path towards scaffolding reasoning traces for a multi-agent future.
- Abstract（参考訳）: 言語モデルは、ユーザのクエリに答える前に"合理的"にトレーニングされ、最終回答の前に数百から数千のトークンの議論を出力するようになっている。
推論の主な意図は、モデルが正しい答えに達する能力を改善することであるが、これらのモデルは、最終的な答えの正しさに加えて、彼らの推論トレースの正当性について評価されるべきである、と我々は主張する。
本稿では,12の推論言語モデル(RLM)から90kのトレースを解析し,それらのトレースの質を評価する。
本稿では, RLMの推論トレースが, 正しい解に到達するための弱い非推論モデルを導く上で, いかに有用かを評価する, 転送ユーティリティの概念を紹介する。
もっとも高い性能のモデルにおける推論の痕跡が、可視性において最下位にランクされていることが判明した。
さらに、効率に基づく可視性の測定(トレース長など)と転送ユーティリティの緊張関係を明らかにする。
これらの緊張がパレートフロンティアの正当性を確立し、高い正当性を持つトレースを出力するRLMの能力がタスクとオーディエンスに依存した目標であることを実証する。
重要なことに、RLMのトレーニングに使用される報酬モデルは、本質的には正当性に報いるものではない。
これらの指標と、それらが表わす発見は、マルチエージェントの未来のための足場推論トレースへの道筋をグラフ化している。
関連論文リスト
- Probing the Trajectories of Reasoning Traces in Large Language Models [4.599673637363014]
本研究では,大規模言語モデルにおける推論トレースの軌跡を探索するプロトコルを提案する。
得られた推論トークンの比率が大きくなるにつれて、精度と決定のコミットメントが一貫して増加することが分かっています。
軌道探索が推論モデルのより効率的かつ安全な展開のための診断を提供することを示す。
論文 参考訳（メタデータ） (2026-01-30T16:45:16Z) - Visual Reasoning Tracer: Object-Level Grounded Reasoning Benchmark [112.46338388724116]
このタスクでは、ターゲットオブジェクトをローカライズするだけでなく、推論パスを形成する中間オブジェクトを明示的に予測する必要がある。
この分野での研究を進めるために,(1)視覚的推論を評価するための人為的注釈付きベンチマークであるVRT-Bench,(2)推論トレースの質を評価するための新しい指標であるVRT-80k,(3)推論モデルトレーニングのための大規模データセットであるVRT-80kが提案されている。
論文 参考訳（メタデータ） (2025-12-04T18:55:34Z) - Reasoning Models Sometimes Output Illegible Chains of Thought [0.0]
結果に基づく強化学習(RL)を用いて学習した言語モデルは、チェーン・オブ・シント(CoT)を用いて推論し、顕著な性能を示した。
我々は14の推論モデルにまたがってCoTの正当性を調査し、RLが人間とAIモニタの両方に不利になることが多いことを発見した。
モデルでは, 正解を正解(正解部分のみの使用を強制した場合の精度は53%低下)するが, 再サンプリング時の正解率と性能の相関は見つからない。
論文 参考訳（メタデータ） (2025-10-31T10:16:35Z) - In Their Own Words: Reasoning Traces Tailored for Small Models Make Them Better Reasoners [12.995634497832027]
より大きな言語モデルから小さな言語モデルへの推論能力の転送は、しばしば反故意に失敗する。
より大きなモデルからのトレースの推論は、学生の分布下では低い確率のトークンを含む。
本稿では,学生に優しい推論トレースを生成するメカニズムであるReverse Speculative Decoding (RSD)を提案する。
論文 参考訳（メタデータ） (2025-09-26T11:40:32Z) - Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。
CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
論文 参考訳（メタデータ） (2025-09-06T05:33:17Z) - Do Cognitively Interpretable Reasoning Traces Improve LLM Performance? [15.970162088175593]
CoT(Chain-of-Thought)トレースは、回答を生成する前に中間的推論トレースを生成する。
よくあるが、しばしば暗黙的な仮定は、CoTトレースは意味論的に意味があり、エンドユーザに解釈可能であるべきだというものである。
本稿では,LLaMAモデルとQwenモデルの教師付き微調整によるオープンブック質問応答領域におけるこの問題について検討する。
論文 参考訳（メタデータ） (2025-08-21T23:48:50Z) - Socratic-MCTS: Test-Time Visual Reasoning by Asking the Right Questions [100.41062461003389]
フラーミング推論は,断片化された知識間の「点の接続」をモデルが支援し,非推論モデルにおいて拡張された推論トレースを生成することを示す。
提案手法を3つのベンチマークで評価し,一貫した改善点を観察する。
論文 参考訳（メタデータ） (2025-06-10T15:51:16Z) - RM-R1: Reward Modeling as Reasoning [81.50471199906738]
Reasoning Reward Models (ReasRMs) は、報酬モデリングを推論タスクとして定式化する。
我々は推論指向のトレーニングパイプラインを提案し、ReasRMのファミリーであるRM-R1を訓練する。
我々のモデルは、平均して3つの報酬モデルベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-05T06:11:12Z) - Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。
我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。
複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
論文 参考訳（メタデータ） (2024-02-05T18:25:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。