論文の概要: Reasoning-Trace Collapse: Evaluating the Loss of Explicit Reasoning During Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.21127v1
• Date: Wed, 20 May 2026 12:58:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.681987
• Title: Reasoning-Trace Collapse: Evaluating the Loss of Explicit Reasoning During Fine-Tuning
• Title（参考訳）: Reasoning-Trace 崩壊 : 微調整時の明示的推論損失の評価
• Authors: Lukas Twist, Helen Yannakoudakis, Jie M. Zhang,
• Abstract要約: 微調整モデルでは, 構造的に妥当な推論トレースが失われつつも, 最終的な答えが得られ続けることを示す。 本稿では,回答の正しさを推論・トレースの妥当性から分離する構造評価フレームワークを提案する。 教師が生成した推論トレースを必要とせずに、単純な損失マスキング戦略が著しく崩壊することを示します。
• 参考スコア（独自算出の注目度）: 9.426248468755272
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Explicit reasoning models are trained to produce intermediate reasoning traces before final answers, but downstream fine-tuning is often performed on ordinary instruction-response data that contains no such traces. We show that this mismatch can induce reasoning-trace collapse: a fine-tuned model continues to produce plausible final answers while losing the structurally valid explicit reasoning traces that made it a reasoning model in the first place. We introduce a structural evaluation framework that separates answer correctness from reasoning-trace validity, measuring valid, empty, missing, and truncated reasoning alongside reasoning-conditioned task performance. Using this framework, we study four open-weight reasoning models and find that standard supervised fine-tuning can rapidly suppress valid reasoning traces, and that answer-only metrics can substantially obscure this failure: in several settings, performance conditional on valid reasoning remains high while the rate of valid reasoning falls sharply. We further show that simple loss-masking strategies can substantially mitigate collapse without requiring teacher-generated reasoning traces. These results suggest that evaluations of fine-tuned reasoning models should report structural reasoning reliability metrics in addition to final-answer performance, especially when adaptation data does not contain explicit reasoning traces.
• Abstract（参考訳）: 明示的推論モデルは最終回答の前に中間的推論トレースを生成するように訓練されるが、下流の微調整はそのようなトレースを含まない通常の命令応答データに対して行われることが多い。 このミスマッチは推論・トレースの崩壊を誘発しうることを示す: 微調整されたモデルが、まずは推論モデルとなった構造的に妥当な推論トレースを失いながら、妥当な最終回答を生成し続ける。 提案手法では, 応答の正しさを推論・トレースの妥当性から分離し, 有効性, 空性, 欠失性, 難解性の評価を, 推論条件付きタスク性能とともに行う構造評価フレームワークを提案する。 このフレームワークを用いて、4つのオープンウェイト推論モデルを調査し、標準教師付き微調整が有効な推論トレースを迅速に抑制できること、そして応答のみのメトリクスが、この失敗を著しく曖昧にすることができることを発見した。 さらに, 教師が生成した推論トレースを必要とせずに, 簡易な損失マスキング戦略により, 崩壊を著しく軽減できることを示す。 これらの結果から,微調整推論モデルの評価は,特に適応データが明示的推論トレースを含まない場合には,最終回答性能に加えて,構造的推論信頼性指標を報告すべきであることが示唆された。

関連論文リスト

• Correct Is Not Enough: Training Reasoning Planners with Executor-Grounded Rewards [15.458797431655961]
  検証可能な報酬を伴う強化学習は、大規模言語モデルにおける明示的な推論を改善する共通の方法となっている。 しかし、最終回答の正確性だけでは、推論トレースが信頼できるか、信頼できるか、あるいはそれを消費するモデルに有用かは明らかになっていない。 我々は、推論を消費可能な中間アーティファクトとして扱うプランナー・エグゼクタトレーニングフレームワークであるTraceLiftを提案する。
  論文  参考訳（メタデータ） (2026-05-05T15:24:40Z)
• Early Stopping for Large Reasoning Models via Confidence Dynamics [55.67938134245981]
  大きな推論モデルは複雑な問題を解決するために長い連鎖生成に依存している。 重要な課題は、いつモデルが推論を止めて最終回答を生み出すべきかを決定することです。 中間回答の信頼性のダイナミクスを利用して推論をいつ終了するかを判断する早期停止手法であるCoDE-Stopを提案する。
  論文  参考訳（メタデータ） (2026-04-06T17:59:45Z)
• CausalFlip: A Benchmark for LLM Causal Judgment Beyond Semantic Matching [50.65932158912512]
  そこで我々は,新しい大言語モデルの開発を促進するために,因果推論ベンチマークCausalFlipを提案する。 CaulFlipは、イベントトリプル上に構築された因果判断の質問で構成されており、共同創設者、チェーン、コライダーの関係が異なっている。 回答のみのトレーニング,明示的なチェーン・オブ・ソート監視,そして内在型因果推論アプローチなどを含む,複数の訓練パラダイムによるLCMの評価を行った。
  論文  参考訳（メタデータ） (2026-02-23T18:06:15Z)
• Structured Reasoning for Large Language Models [59.215789462977206]
  本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。 SCRは推論効率と自己検証を大幅に改善する。 既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
  論文  参考訳（メタデータ） (2026-01-12T04:04:01Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• Think Clearly: Improving Reasoning via Redundant Token Pruning [57.01254508252785]
  推論過程における冗長性を意図的に除去することで、性能が大幅に向上することを示す。 本手法は, 推論集約型ベンチマークにおいて, トレーニングを伴わずに, 全体的な精度を著しく向上することを示した。
  論文  参考訳（メタデータ） (2025-06-17T06:04:01Z)
• When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs [19.354141845315276]
  連鎖推論は命令追従精度を著しく低下させる。 これは、推論によって引き起こされる命令追従の失敗を体系的に公開する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-16T16:36:00Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。