論文の概要: Feature Extraction and Steering for Enhanced Chain-of-Thought Reasoning in Language Models

• arxiv url: http://arxiv.org/abs/2505.15634v1
• Date: Wed, 21 May 2025 15:17:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.731252
• Title: Feature Extraction and Steering for Enhanced Chain-of-Thought Reasoning in Language Models
• Title（参考訳）: 言語モデルにおける強化連鎖推論のための特徴抽出とステアリング
• Authors: Zihao Li, Xu Wang, Yuzhe Yang, Ziyu Yao, Haoyi Xiong, Mengnan Du,
• Abstract要約: 大規模言語モデル(LLM)は、Chain-of-Thought(CoT)技術を用いて推論と数学的問題を解く能力を示す。 この研究はDeepSeek-R1の深い思考パラダイムにインスパイアされ、外部データセットを使わずにLCMの推論能力を高めるためにステアリング技術を利用している。
• 参考スコア（独自算出の注目度）: 48.40096116617163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) demonstrate the ability to solve reasoning and mathematical problems using the Chain-of-Thought (CoT) technique. Expanding CoT length, as seen in models such as DeepSeek-R1, significantly enhances this reasoning for complex problems, but requires costly and high-quality long CoT data and fine-tuning. This work, inspired by the deep thinking paradigm of DeepSeek-R1, utilizes a steering technique to enhance the reasoning ability of an LLM without external datasets. Our method first employs Sparse Autoencoders (SAEs) to extract interpretable features from vanilla CoT. These features are then used to steer the LLM's internal states during generation. Recognizing that many LLMs do not have corresponding pre-trained SAEs, we further introduce a novel SAE-free steering algorithm, which directly computes steering directions from the residual activations of an LLM, obviating the need for an explicit SAE. Experimental results demonstrate that both our SAE-based and subsequent SAE-free steering algorithms significantly enhance the reasoning capabilities of LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、Chain-of-Thought(CoT)技術を用いて推論と数学的問題を解く能力を示す。 DeepSeek-R1のようなモデルで見られるCoT長の拡張は、複雑な問題に対するこの推論を大幅に強化するが、コストが高く高品質なCoTデータと微調整が必要である。 この研究はDeepSeek-R1の深い思考パラダイムにインスパイアされ、外部データセットを使わずにLCMの推論能力を高めるためにステアリング技術を利用している。 提案手法は,まずスパースオートエンコーダ(SAE)を用いて,バニラCoTから解釈可能な特徴を抽出する。 これらの特徴は、世代間LSMの内部状態を制御するために使用される。 さらに, LLMの残効活性化から操舵方向を直接計算し, 明示的なSAEの必要性を回避できる新しいSAEフリーステアリングアルゴリズムを導入する。 実験の結果, 我々のSAEベースおよびその後のSAEフリーステアリングアルゴリズムは, LLMの推論能力を大幅に向上させることがわかった。

関連論文リスト

• I Have Covered All the Bases Here: Interpreting Reasoning Features in Large Language Models via Sparse Autoencoders [8.1201445044499]
  大規模言語モデル(LLM)は自然言語処理において顕著な成功を収めた。 近年の進歩は、新たな推論型LSMの開発に繋がった。 オープンソースのDeepSeek-R1は、深い思考と複雑な推論を統合することで最先端のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-03-24T16:54:26Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [84.31119464141631]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。