論文の概要: Beyond Dense States: Elevating Sparse Transcoders to Active Operators for Latent Reasoning

• arxiv url: http://arxiv.org/abs/2602.01695v1
• Date: Mon, 02 Feb 2026 06:08:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.944047
• Title: Beyond Dense States: Elevating Sparse Transcoders to Active Operators for Latent Reasoning
• Title（参考訳）: Beyond Dense States: 遅延推論のためのスパーストランスコーダをアクティブオペレータに高める
• Authors: Yadong Wang, Haodong Chen, Yu Tian, Chuanxing Geng, Dong Liang, Xiang Chen,
• Abstract要約: LSTR(Latent Sparse Transcoder Reasoning)を提案する。 LSTRのコアとなるのは、線形多様体輸送をスパースセマンティック更新から切り離すための残留スキップアーキテクチャを備えた潜在トランジショントランスコーダ(LTT)である。 大規模な実験により,LSTRは推論精度と圧縮効率を保ちながら,解釈性を大幅に向上することが示された。
• 参考スコア（独自算出の注目度）: 25.054823575096332
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent reasoning compresses the chain-of-thought (CoT) into continuous hidden states, yet existing methods rely on dense latent transitions that remain difficult to interpret and control. Meanwhile, sparse representation models uncover human-interpretable semantic features but remain largely confined to post-hoc analysis. We reconcile this tension by proposing LSTR (Latent Sparse Transcoder Reasoning), a latent reasoning framework that elevates functional sparse transcoders into active reasoning operators to perform multi-step computation through sparse semantic transitions. At its core, LSTR employs a Latent Transition Transcoder (LTT) with a residual skip architecture that decouples linear manifold transport from sparse semantic updates, enabling controllable semantic resolution via explicit sparsity constraints. Extensive experiments show that LSTR preserves reasoning accuracy and compression efficiency while substantially improving interpretability over dense latent baselines. Causal interventions and trajectory analyses further demonstrate that these sparse features act as both interpretable and causally effective operators in the reasoning process.
• Abstract（参考訳）: 潜在的推論は、チェーン・オブ・シンクレット(CoT)を連続的な隠蔽状態に圧縮するが、既存の手法は解釈と制御が困難であるような高密度な潜伏遷移に依存している。 一方、スパース表現モデルは人間の解釈可能な意味的特徴を明らかにするが、主にポストホック分析に限られる。 LSTR(Latent Sparse Transcoder Reasoning)は,機能的スパーストランスコーダをアクティブな推論演算子に高め,スパースセマンティックトランジションによるマルチステップ計算を行う潜在的推論フレームワークである。 LSTRのコアとなるのは遅延遷移トランスコーダ(LTT)で、線形多様体輸送をスパースなセマンティックアップデートから切り離し、明示的なスパース性制約による制御可能なセマンティック解決を可能にする。 拡張実験により,LSTRは推理精度と圧縮効率を保ちながら,高密度潜伏基線に対する解釈性を大幅に向上することが示された。 因果介入と軌跡解析は、これらのスパース特徴が推論過程において解釈可能かつ因果的に有効な演算子として機能することをさらに示している。

関連論文リスト

• SIM-CoT: Supervised Implicit Chain-of-Thought [108.30049193668083]
  Implicit Chain-of-Thought(CoT)メソッドは、大規模言語モデルにおける明示的なCoT推論に代わるトークン効率の代替手段を提供する。 暗黙的なCoTの計算予算をスケールする際の中核的な不安定性問題を特定する。 そこで我々はSIM-CoTを提案する。SIM-CoTは,遅延推論空間を安定化・拡張するためのステップレベルの監視を実現するモジュールである。
  論文  参考訳（メタデータ） (2025-09-24T17:01:32Z)
• Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics [69.00587226225232]
  本研究では,CoTトラジェクトリを構造化潜在力学に抽象化する状態認識遷移フレームワークを提案する。 推論のグローバルな構造を特徴づけるために、それらの進行をマルコフ連鎖としてモデル化する。 この抽象化は、意味的役割の識別、時間的パターンの可視化、一貫性評価など、さまざまな分析をサポートする。
  論文  参考訳（メタデータ） (2025-08-29T18:53:31Z)
• CTRLS: Chain-of-Thought Reasoning via Latent State-Transition [57.51370433303236]
  チェーン・オブ・シント(CoT)推論は、大規模な言語モデルで複雑な問題を解釈可能な中間ステップに分解することを可能にする。 我々は,遅延状態遷移を伴うマルコフ決定プロセス(MDP)としてCoT推論を定式化するフレームワークであるgroundingSを紹介する。 我々は、ベンチマーク推論タスクにおける推論精度、多様性、探索効率の改善を示す。
  論文  参考訳（メタデータ） (2025-07-10T21:32:18Z)
• A Survey on Latent Reasoning [100.54120559169735]
  大きな言語モデル(LLM)は印象的な推論機能を示している。 中間ステップを言語化するCoT推論は、モデルの表現帯域幅を制限する。 潜在的推論は、モデルの連続的な隠れ状態に完全にマルチステップの推論を実行することで、このボトルネックに対処する。
  論文  参考訳（メタデータ） (2025-07-08T17:29:07Z)
• The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning [56.574829311863446]
  CoT(Chain-of-Thought)プロンプトは,大規模言語モデル(LLM)における推論能力の向上によって広く認識されている。 我々は、CoTとその推論変異が、様々なモデルスケールやベンチマークの複雑さに対して、直接応答を一貫して過小評価していることを実証する。 パターンベースICLにおけるCoTの性能を駆動する明示的単純推論の基本的なハイブリッド機構を明らかにする。
  論文  参考訳（メタデータ） (2025-04-07T13:51:06Z)
• Understanding Self-Supervised Learning of Speech Representation via Invariance and Redundancy Reduction [0.45060992929802207]
  自己教師付き学習(SSL)は、ラベルのないデータから柔軟な音声表現を学習するための有望なパラダイムとして登場した。 本研究は,人間の知覚における冗長性低下の理論に触発されたSSL技術であるBarlow Twins(BT)を実証分析した。
  論文  参考訳（メタデータ） (2023-09-07T10:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。