論文の概要: Thinking vs. NoThinking: Towards Interpreting Reasoning Mechanisms of Large Language Models via Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2608.08168v1
• Date: Sat, 08 Aug 2026 14:54:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.710065
• Title: Thinking vs. NoThinking: Towards Interpreting Reasoning Mechanisms of Large Language Models via Sparse Autoencoders
• Title（参考訳）: 思考対NoThink:スパースオートエンコーダによる大規模言語モデルの推論メカニズムの解釈に向けて
• Abstract要約: 我々は、DeepSeek-R1-Distill-Qwen-7Bの中間表現にTop-Kスパースオートエンコーダを適用する。 思考モードは,問題複雑性とは無関係に,言語推論を駆動する疎度で高強度な特徴アクティベーションに依存していることがわかった。 NoThinkingモードは、適応的かつ拡散的なパターンでシンボル操作を優先する。
• 参考スコア（独自算出の注目度）: 18.13137223261329
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Large Language Models (LLMs) employing Chain-of-Thought (CoT) exhibit superior reasoning capabilities, the neural mechanisms distinguishing this explicit Thinking mode from direct answer generation (NoThinking mode) remain poorly understood. To deconstruct this cognitive process, we apply Top-K Sparse Autoencoders (SAEs) to the intermediate representations of DeepSeek-R1-Distill-Qwen-7B and examine the model's divergent behaviors across math-solving tasks of three distinct difficulty levels. Observationally, we identify a clear distinction in how the model functions under two reasoning modes: Thinking mode relies on sparse and high-intensity feature activations driving verbal deduction independent of problem complexity, whereas NoThinking mode exhibits an adaptive and diffuse pattern prioritizing symbolic manipulation. Causally, suppressing the three most active sparse features by Total Activation Volume reveals three principles: (i) reasoning and syntactic structure are tightly coupled, as interventions consistently degrade \LaTeX{} and boxed-solution formatting; (ii) Thinking responds to disruption with compensatory over-generation marked by increased metacognitive cues and repetitive, low-information continuations; and (iii) coherent CoT behavior depends on a fragile coordination among specialized features, yielding distinct failure modes under perturbation but a consistently impaired output structure.
• Abstract（参考訳）: CoT(Chain-of-Thought)を用いたLarge Language Models(LLM)は優れた推論能力を示すが、この明示的な思考モードと直接回答生成(NoThinkingモード)を区別する神経機構はいまだに理解されていない。 この認知過程を分解するために、DeepSeek-R1-Distill-Qwen-7Bの中間表現にTop-K Sparse Autoencoders (SAEs) を適用し、3つの難易度の数学解タスク間でモデルの発散挙動を調べる。 モデルが2つの推論モードの下でどのように機能するかを明確に区別する: 思考モードは、問題の複雑さとは無関係に言語推論を駆動するスパースおよび高強度特徴アクティベーションに依存し、一方NoThinkingモードは、記号操作を優先する適応的かつ拡散的なパターンを示す。 因みに、Total Activation Volumeによる3つの最も活発なスパース機能を抑制するには、3つの原則がある。 i) 推論と構文構造は、介入が一貫して \LaTeX{} とボックス化ソリューションフォーマッティングを分解するため、密結合である。 (二 メタ認知的手がかりの増大と反復的低情報継続が特徴の補償過剰世代による破壊に反応すること。) 三)コヒーレントCoTの挙動は、特殊な特徴間の脆弱な調整に依存し、摂動下で異なる障害モードを生じるが、一貫して出力構造が損なわれる。

関連論文リスト

• Shorthand for Thought: Compressing LLM Reasoning via Entropy-Guided Supertokens [4.0704009036918025]
  大規模言語モデルにおける推論は、重要な推論時間計算を引き起こす。 推論トークンは、低エントロピーのテクスト構造トークン(推論過程を足場とするフレーズの再帰)と高エントロピーのテクスト有機トークン(解に向かって進むプロブレム固有のコンテンツ)の2つの機能タイプに分かれていることを示す。 頻繁な構造パターンをキャプチャするテクスチャツペルトケンを導出し、教師付き微調整によりモデルに導入するように教える。
  論文  参考訳（メタデータ） (2026-04-29T07:06:43Z)
• Heuristic Classification of Thoughts Prompting (HCoT): Integrating Expert System Heuristics for Structured Reasoning into Large Language Models [9.545957160908115]
  HCoT(Huristic- classification-of-Thoughts prompting schema) HCoT(Huristic- classification-of-Thoughts prompting schema) HCoT(Huristic- classification-of-Thoughts prompting schema)
  論文  参考訳（メタデータ） (2026-04-14T07:24:08Z)
• Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure [58.89643769707751]
  表現空間における潜在連鎖を操作可能な因果過程として研究する。 遅延ステップの予算は、均質な余分な深さよりも、非局所的なルーティングを備えたステージ機能のように振る舞う。 これらの結果は、モード条件と安定性を意識した分析を、潜伏推論システムの解釈と改善のための信頼性の高いツールとして動機付けている。
  論文  参考訳（メタデータ） (2026-02-09T15:25:12Z)
• Fluid Representations in Reasoning Models [91.77876704697779]
  本稿では,QwQ-32Bの抽象構造情報処理のメカニズム解析を行う。 その結果、QwQ-32Bは、推論中の行動や概念の内部表現を徐々に改善することがわかった。
  論文  参考訳（メタデータ） (2026-02-04T18:34:50Z)
• Seeing Through the Chain: Mitigate Hallucination in Multimodal Reasoning Models via CoT Compression and Contrastive Preference Optimization [78.94590726578014]
  マルチモーダル推論モデル (Multimodal reasoning model, MLRM) は幻覚の傾向が強く, 効果的な解はいまだ未発見のままである。 textbfCompression と textbfPreference textbfOptimization を組み合わせたトレーニングベースの緩和フレームワーク C3PO を提案する。
  論文  参考訳（メタデータ） (2026-02-03T11:00:55Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• ConciseHint: Boosting Efficient Reasoning via Continuous Concise Hints during Generation [74.37307916314407]
  提案するフレームワークはConciseHintと呼ばれ,推論モデルが簡潔に話すことを継続的に奨励する。 DeepSeek-R1 および Qwen-3 シリーズを含む最先端の LRM 実験により,本手法が簡潔な推論を効果的に生成できることが実証された。
  論文  参考訳（メタデータ） (2025-06-23T16:20:44Z)
• AdapThink: Adaptive Thinking Preferences for Reasoning Language Model [32.47427081297578]
  強化学習(RL)に基づくポストトレーニングは、言語モデルの複雑な推論能力を大幅に向上させた。 しかし、この緩やかな思考のパラダイムは、効率を推理する上で重要な課題である。 より効率的な思考を促すために,適応的なポストトレーニングフレームワークAdapThinkを提案する。
  論文  参考訳（メタデータ） (2025-06-23T02:06:04Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。