論文の概要: Fluid Representations in Reasoning Models

• arxiv url: http://arxiv.org/abs/2602.04843v1
• Date: Wed, 04 Feb 2026 18:34:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.683305
• Title: Fluid Representations in Reasoning Models
• Title（参考訳）: 推論モデルにおける流体表現
• Authors: Dmitrii Kharlapenko, Alessandro Stolfo, Arthur Conmy, Mrinmaya Sachan, Zhijing Jin,
• Abstract要約: 本稿では,QwQ-32Bの抽象構造情報処理のメカニズム解析を行う。 その結果、QwQ-32Bは、推論中の行動や概念の内部表現を徐々に改善することがわかった。
• 参考スコア（独自算出の注目度）: 91.77876704697779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning language models, which generate long chains of thought, dramatically outperform non-reasoning language models on abstract problems. However, the internal model mechanisms that allow this superior performance remain poorly understood. We present a mechanistic analysis of how QwQ-32B - a model specifically trained to produce extensive reasoning traces - process abstract structural information. On Mystery Blocksworld - a semantically obfuscated planning domain - we find that QwQ-32B gradually improves its internal representation of actions and concepts during reasoning. The model develops abstract encodings that focus on structure rather than specific action names. Through steering experiments, we establish causal evidence that these adaptations improve problem solving: injecting refined representations from successful traces boosts accuracy, while symbolic representations can replace many obfuscated encodings with minimal performance loss. We find that one of the factors driving reasoning model performance is in-context refinement of token representations, which we dub Fluid Reasoning Representations.
• Abstract（参考訳）: 思考の長い連鎖を生成する推論言語モデルは、抽象的な問題において非推論言語モデルよりも劇的に優れている。 しかし、この優れた性能を実現する内部モデルメカニズムはいまだに理解されていない。 QwQ-32B - 広範囲な推論トレースを生成するために特別に訓練されたモデル - が抽象構造情報をどのように処理するかを機械論的に分析する。 意味的に難解なプランニングドメインであるMystery Blocksworldでは、QwQ-32Bは、推論中のアクションとコンセプトの内部表現を徐々に改善している。 このモデルは、特定のアクション名ではなく構造に焦点を当てた抽象的なエンコーディングを開発する。 成功トレースから洗練された表現を注入すると精度が向上する一方、シンボル表現は多くの難解なエンコーディングを最小性能の損失で置き換えることができる。 推論モデルのパフォーマンスを駆動する要因の1つは、トークン表現の文脈内改良であり、Fluid Reasoning Representationsを疑っている。

関連論文リスト

• \textit{FocaLogic}: Logic-Based Interpretation of Visual Model Decisions [10.53822145558342]
  FocaLogicは、論理に基づく表現を通じて視覚モデル決定を解釈し、定量化するように設計された、モデルに依存しないフレームワークである。 FocaLogicは、視覚領域が終端する視覚焦点の最小の解釈可能なサブセットを識別する。 これらの視覚的焦点を正確でコンパクトな論理的表現に変換し、透明で構造化された解釈を可能にする。
  論文  参考訳（メタデータ） (2026-01-17T13:28:02Z)
• Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
  テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。 本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。 その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
  論文  参考訳（メタデータ） (2026-01-07T16:39:34Z)
• Schoenfeld's Anatomy of Mathematical Reasoning by Language Models [56.656180566692946]
  我々は、Schoenfeldのエピソード理論を誘導型中間スケールレンズとして採用し、ThinkARM(モデルにおける推論の解剖学)を紹介する。 ThinkARMは、推論トレースを分析、探索、実装、検証などの機能的推論ステップに明示的に抽象化する。 エピソードレベルの表現は推論ステップを明確にし、現代の言語モデルにおける推論がどのように構造化され、安定化され、変更されるかの体系的な分析を可能にする。
  論文  参考訳（メタデータ） (2025-12-23T02:44:25Z)
• Mechanistic Unveiling of Transformer Circuits: Self-Influence as a Key to Model Reasoning [9.795934690403374]
  このような課題を解決するために言語モデルでどのような多段階推論機構が使われているのかはいまだ不明である。 回路解析と自己影響関数を用いて、推論過程を通して各トークンの変動の重要性を評価する。 提案手法は,モデルが使用する人間の解釈可能な推論過程を明らかにする。
  論文  参考訳（メタデータ） (2025-02-13T07:19:05Z)
• Causal Concept Graph Models: Beyond Causal Opacity in Deep Learning [11.13665894783481]
  因果不透明性(英: Causal opacity)とは、ディープニューラルネットワーク(DNN)モデルの決定の根底にある「隠れた」因果構造を理解することの難しさを指す。 この研究は、因果概念グラフモデル(Causal Concept Graph Models, Causal CGMs)を導入している。 実験の結果, (i) 因果不透明モデルの一般化性能に一致し, (ii) ループ内修正を誤予測中間推論ステップに適用し, (iii) 介入シナリオと反事実シナリオの分析を支援することができた。
  論文  参考訳（メタデータ） (2024-05-26T10:15:20Z)
• Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
  本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。 モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models [100.53662473219806]
  Diffusion-of-Thought (DoT) は、拡散モデルとChain-of-Thoughtを統合する新しいアプローチである。 DoTは、拡散言語モデルを通じて、時間とともに推論ステップが拡散することを可能にする。 本研究は,多桁乗算,論理学,小学校数学におけるDoTの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-02-12T16:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。