論文の概要: Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability

• arxiv url: http://arxiv.org/abs/2610.03509v1
• Date: Fri, 02 Oct 2026 16:04:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.46822
• Title: Efficient Reasoning Training Does Not Always Harm CoT Faithfulness and Monitorability
• Title（参考訳）: 効果的な推論トレーニングはCoTの忠実度と監視性を常に損なうものではない
• Abstract要約: チェーン・オブ・ソート(CoT)推論は、人間がいかに大きな言語モデルが解答に達するかを検査することを可能にする。 我々はCoTの忠実度と監視可能性に効果的な推論がどのような影響を及ぼすかを評価する。
• 参考スコア（独自算出の注目度）: 29.952361753678968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) reasoning allows humans to inspect how large language models reach their answers, and oversee model behaviour. This reasoning comes at an increased inference cost, motivating efficient methods that train models to solve tasks using fewer tokens. However, a common concern is that such training may cause models to skip important reasoning steps, so the CoT no longer faithfully reflects the model's decision. It is unclear whether or when this occurs in practice, since different efficiency methods apply length pressure to models' CoT in distinct ways, and faithfully explaining a model's decision takes more tokens on some tasks than others. To understand these dynamics, we fine-tune a variety of models with three methods that apply length pressure differently, namely a fixed generation budget, a per-example length target, and a group-relative length reward. We evaluate how efficient reasoning affects CoT faithfulness (i.e., how well the CoT reflects model decisions on related inputs) and monitorability (i.e., whether the CoT reveals when input interventions alter the output). We find that it affects faithfulness and monitorability differently. Faithfulness falls in most settings, primarily because the trained models are less consistent. Monitorability is more robust, as models keep acknowledging the influence on their answer even when the CoT is much shorter.
• Abstract（参考訳）: チェーン・オブ・ソート(CoT)推論は、人間がいかに大きな言語モデルが回答に達するかを検査し、モデルの振る舞いを監督することを可能にする。 この推論は推論コストを増大させ、より少ないトークンを使用してタスクを解決するためにモデルをトレーニングする効率的な手法を動機付けます。 しかしながら、そのようなトレーニングはモデルに重要な推論ステップをスキップさせる可能性があるため、CoTはもはやモデルの決定を忠実に反映しない、という共通の懸念がある。 異なる効率の手法が異なる方法でモデルのCoTに長さ圧力を適用し、モデルの判断を忠実に説明することは、あるタスクに対して他のタスクよりもより多くのトークンを必要とするため、実際にこれが起こっているかどうかは不明である。 これらのダイナミクスを理解するために、我々は、長さ圧力を異なる方法で適用する3つの方法、すなわち、固定生成予算、サンプル単位の長さ目標、グループ相対長の報酬で、様々なモデルを微調整する。 我々は,CoTの信頼度(CoTが関連する入力に対するモデル決定をどの程度反映しているか)と監視可能性(CoTが入力介入によって出力が変化するかどうか)にどの程度の効率で影響するかを評価する。 忠実さと監視性が異なることが分かっています。 トレーニングされたモデルは一貫性が低いため、ほとんどの設定でFithfulnessが当てはまります。 CoTがはるかに短い場合でも、モデルが回答への影響を認め続けているため、監視性はより堅牢である。

関連論文リスト

• To Think or Not To Think, That is The Question for Large Reasoning Models in Theory of Mind Tasks [56.11584171938381]
  心の理論 (ToM) は、モデルが信念、欲望、意図などの隠された精神状態を推測できるかどうかを評価する。 近年のLRM(Large Reasoning Models)の進歩により、数学やコーディングにおけるステップバイステップ推論が向上している。 本研究では,9つの大規模言語モデル(LLM)の体系的研究を行い,推論モデルと非推論モデルを比較した。
  論文  参考訳（メタデータ） (2026-02-11T08:16:13Z)
• Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning [0.0]
  Chain-of-Thoughtの説明は、言語モデルが複雑な問題を解決する方法を理解するために広く使われている。 モデルの意思決定プロセスに個別の推論ステップが忠実かどうかを測定する指標である正規化論理差判定(NLDD)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T21:55:57Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• The Challenge of Teaching Reasoning to LLMs Without RL or Distillation [31.973226821366325]
  推論可能な言語モデルは、長く明示的なChain-of-Thoughtトレースを生成することで、様々な複雑なタスクにおいて最先端のパフォーマンスを達成する。 我々は、プロンプトや最小限のチューニングのみを用いて、ベースモデルでCoTを誘導できるかどうかを問う。 結果として得られたモデルは、はるかに大きなtexttQwen2.5-Math-72B-Instruct よりも優れており、いくつかの高品質な例が強力な推論能力を解き放つ可能性があることを示している。
  論文  参考訳（メタデータ） (2025-07-14T01:14:50Z)
• Prompting Science Report 2: The Decreasing Value of Chain of Thought in Prompting [0.0]
  Chain-of-Thought(CoT)プロンプトは,大規模言語モデルに“ステップバイステップ”を推奨するテクニックである。 CoTプロンプトの有効性はタスクの種類やモデルによって大きく異なる。 明確な推論能力を持つモデルの場合、CoTのプロンプトは答えの正確性に限界があるだけである。
  論文  参考訳（メタデータ） (2025-06-08T13:41:25Z)
• The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
  モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。 インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
  論文  参考訳（メタデータ） (2025-05-28T06:24:45Z)
• Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [108.07030347318624]
  より長い思考の連鎖(CoTs)によるスケーリングは、特定の領域におけるLarge Language Models(LLMs)の推論性能を損なう可能性があることを示す。 深層思考に異なる推論手法を採用するためのモデルを教えるための思考-最適スケーリング戦略を提案する。 我々のQwen2.5-32B-Instructに基づく自己改善モデルは、様々なベンチマークで他の蒸留ベースの32B o1-likeモデルより優れています。
  論文  参考訳（メタデータ） (2025-02-25T10:48:05Z)
• LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [53.84130385074551]
  大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組む また,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。 たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-02-11T08:48:48Z)
• Measuring Faithfulness in Chain-of-Thought Reasoning [19.074147845029355]
  大きな言語モデル(LLM)は、質問に答える前にステップバイステップの"Chain-of-Thought"(CoT)推論を生成する場合、より優れたパフォーマンスを発揮する。 記述された推論が、モデルの実際の推論(すなわち、質問に答えるプロセス)の忠実な説明であるかどうかは不明である。 我々は,CoTに介入する際のモデル予測がどう変化するかを調べることで,CoT推論が不信である可能性の仮説を考察する。
  論文  参考訳（メタデータ） (2023-07-17T01:08:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。