論文の概要: CoT Vectors: Transferring and Probing the Reasoning Mechanisms of LLMs

• arxiv url: http://arxiv.org/abs/2510.00579v1
• Date: Wed, 01 Oct 2025 06:58:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.430011
• Title: CoT Vectors: Transferring and Probing the Reasoning Mechanisms of LLMs
• Title（参考訳）: CoTベクトル:LLMの共振機構の伝達と解析
• Authors: Li Li, Ziyi Wang, Yongliang Wu, Jianfei Cai, Xu Yang,
• Abstract要約: Chain-of-Thoughtプロンプトは、大規模言語モデルの推論能力を高めるための強力なアプローチとして現れています。 コンテキスト内学習や微調整といった既存の実装は、コストがかかり、非効率である。 タスク汎用多段階推論知識を符号化するコンパクト表現であるCoTベクトルを導入する。
• 参考スコア（独自算出の注目度）: 33.63911145333626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-Thought (CoT) prompting has emerged as a powerful approach to enhancing the reasoning capabilities of Large Language Models (LLMs). However, existing implementations, such as in-context learning and fine-tuning, remain costly and inefficient. To improve CoT reasoning at a lower cost, and inspired by the task vector paradigm, we introduce CoT Vectors, compact representations that encode task-general, multi-step reasoning knowledge. Through experiments with Extracted CoT Vectors, we observe pronounced layer-wise instability, manifesting as a U-shaped performance curve that reflects a systematic three-stage reasoning process in LLMs. To address this limitation, we propose Learnable CoT Vectors, optimized under a teacher-student framework to provide more stable and robust guidance. Extensive evaluations across diverse benchmarks and models demonstrate that CoT Vectors not only outperform existing baselines but also achieve performance comparable to parameter-efficient fine-tuning methods, while requiring fewer trainable parameters. Moreover, by treating CoT Vectors as a probe, we uncover how their effectiveness varies due to latent space structure, information density, acquisition mechanisms, and pre-training differences, offering new insights into the functional organization of multi-step reasoning in LLMs. The source code will be released.
• Abstract（参考訳）: CoT(Chain-of-Thought)プロンプトは、LLM(Large Language Models)の推論能力を高める強力なアプローチとして登場した。 しかし、コンテキスト内学習や微調整のような既存の実装は、コストがかかり非効率である。 タスクベクトルのパラダイムに触発されて低コストでCoT推論を改善するために,タスク一般のマルチステップ推論知識を符号化するコンパクトな表現であるCoTベクトルを導入する。 抽出CoTベクトルを用いた実験により, LLMの系統的な3段階推論過程を反映したU字型性能曲線として, 顕著な階層的不安定性を示す。 この制限に対処するために、より安定かつ堅牢なガイダンスを提供するために、教師学生フレームワークの下で最適化されたLearningable CoT Vectorsを提案する。 多様なベンチマークやモデルにわたる広範囲な評価は、CoTベクターが既存のベースラインを上回るだけでなく、パラメータ効率の良い微調整手法に匹敵する性能を達成し、トレーニング可能なパラメータを少なくすることを示した。 さらに,CoTベクトルをプローブとして扱うことにより,遅延空間構造,情報密度,取得機構,事前学習の違いなどにより,それらの効果がどう変化するかを明らかにするとともに,LLMにおける多段階推論の機能的構造に対する新たな洞察を提供する。 ソースコードはリリースされます。

関連論文リスト

• CARFT: Boosting LLM Reasoning via Contrastive Learning with Annotated Chain-of-Thought-based Reinforced Fine-Tuning [25.142128256576985]
  注釈付きCoTをベースとしたReinforced Fine-Tuningアプローチ,すなわちTheNameを用いたコントラスト学習を提案し,大規模言語モデルの推論性能を向上させる。 提案手法は、利用可能な注釈付きCoTを十分に活用するだけでなく、教師なし学習信号を付加することにより微調整手順を安定化する。
  論文  参考訳（メタデータ） (2025-08-21T00:20:47Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [51.631483479081645]
  大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。 本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• Efficient Reasoning with Hidden Thinking [48.96945580741641]
  CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。 我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。 ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
  論文  参考訳（メタデータ） (2025-01-31T15:10:29Z)
• Understanding Chain-of-Thought in LLMs through Information Theory [16.78730663293352]
  我々は,情報理論レンズを用いて,大規模言語モデル(LLM)におけるChain-of-Thought(CoT)推論を定式化する。 具体的には、各推論ステップにおける「情報ゲイン」を定量化し、障害モードの識別を可能にする。 我々は,おもちゃの算術, GSM8K, PRM800kデータセットに関する広範な実験を通じて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-11-18T19:14:36Z)
• Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought [61.588465852846646]
  大型言語モデル(LLM)の性能向上のための有望なアプローチとして、Chain-of-Thought(CoT)推論が登場した。 本稿では,これらの課題に対処するための新しい推論境界フレームワーク(RBF)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T05:26:28Z)
• Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs [63.36637269634553]
  本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
  CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する 無効な実演でもCoT推論が可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。