論文の概要: A Mechanistic Analysis of Looped Reasoning Language Models

• arxiv url: http://arxiv.org/abs/2604.11791v1
• Date: Mon, 13 Apr 2026 17:55:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.737677
• Title: A Mechanistic Analysis of Looped Reasoning Language Models
• Title（参考訳）: ループ型推論言語モデルの力学解析
• Authors: Hugh Blayney, Álvaro Arroyo, Johan Obando-Ceron, Pablo Samuel Castro, Aaron Courville, Michael M. Bronstein, Xiaowen Dong,
• Abstract要約: ループ言語モデルにおける潜時状態の力学解析を行う。 研究されたモデルの多くに対して、サイクルの各層は異なる固定点に収束することを示す。 繰り返しブロックは、フィードフォワードモデルのモデルを密接に反映した推論の段階を学ぶ。
• 参考スコア（独自算出の注目度）: 41.640597313586525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning has become a central capability in large language models. Recent research has shown that reasoning performance can be improved by looping an LLM's layers in the latent dimension, resulting in looped reasoning language models. Despite promising results, few works have investigated how their internal dynamics differ from those of standard feedforward models. In this paper, we conduct a mechanistic analysis of the latent states in looped language models, focusing in particular on how the stages of inference observed in feedforward models compare to those observed in looped ones. To this end, we analyze cyclic recurrence and show that for many of the studied models each layer in the cycle converges to a distinct fixed point; consequently, the recurrent block follows a consistent cyclic trajectory in the latent space. We provide evidence that as these fixed points are reached, attention-head behavior stabilizes, leading to constant behavior across recurrences. Empirically, we discover that recurrent blocks learn stages of inference that closely mirror those of feedforward models, repeating these stages in depth with each iteration. We study how recurrent block size, input injection, and normalization influence the emergence and stability of these cyclic fixed points. We believe these findings help translate mechanistic insights into practical guidance for architectural design.
• Abstract（参考訳）: 推論は、大規模言語モデルにおいて中心的な機能となっている。 近年の研究では、LLMの層を潜在次元にループすることで推論性能が向上し、ループ型推論言語モデルが得られることが示されている。 有望な結果にもかかわらず、内部のダイナミクスが標準フィードフォワードモデルとどのように異なるかを研究する研究はほとんどない。 本稿では,ループ型言語モデルにおける潜伏状態の力学解析を行い,特に,フィードフォワードモデルで観測された推論の段階とループ型言語モデルで観測された状態との違いに着目した。 この目的のために、循環反復解析を行い、研究されたモデルの多くにおいて、サイクルの各層が異なる固定点に収束することを示し、従って、繰り返しブロックは潜伏空間における一貫した循環軌道に従う。 これらの固定点に達すると、注意頭行動が安定し、再発の度合いが一定になるという証拠を提供する。 経験的に、繰り返しブロックはフィードフォワードモデルのモデルを忠実に反映した推論の段階を学習し、各イテレーションでこれらの段階を深く繰り返すことを発見した。 繰り返しブロックサイズ,入力注入,正規化が,これらの周期的固定点の出現と安定性に与える影響について検討した。 これらの発見は、機械的な洞察をアーキテクチャ設計の実践的なガイダンスに翻訳するのに役立つと信じている。

関連論文リスト

• Demystifing Video Reasoning [71.53763299316041]
  ビデオモデルにおける推論は、主に拡散認知のステップに沿って現れることを示す。 モデル性能に重要ないくつかの創発的推論行動を特定する。 これらの知見に触発され、私たちは概念実証としてトレーニングフリー戦略を提示した。
  論文  参考訳（メタデータ） (2026-03-17T17:59:55Z)
• Dynamics Within Latent Chain-of-Thought: An Empirical Study of Causal Structure [58.89643769707751]
  表現空間における潜在連鎖を操作可能な因果過程として研究する。 遅延ステップの予算は、均質な余分な深さよりも、非局所的なルーティングを備えたステージ機能のように振る舞う。 これらの結果は、モード条件と安定性を意識した分析を、潜伏推論システムの解釈と改善のための信頼性の高いツールとして動機付けている。
  論文  参考訳（メタデータ） (2026-02-09T15:25:12Z)
• Circular Reasoning: Understanding Self-Reinforcing Loops in Large Reasoning Models [66.11277323593475]
  Circular Reasoningは、生成されたコンテンツが自身の再発の論理的前提として機能する自己強化トラップである。 機械学的には、円の推論は異なる境界を示す状態崩壊として特徴付けられる。 自己強化型V字型アテンション機構によって駆動される不自由なサイクルとして継続するループ開始を誘導する推論が阻害されることを明らかにする。
  論文  参考訳（メタデータ） (2026-01-09T10:23:55Z)
• Schoenfeld's Anatomy of Mathematical Reasoning by Language Models [56.656180566692946]
  我々は、Schoenfeldのエピソード理論を誘導型中間スケールレンズとして採用し、ThinkARM(モデルにおける推論の解剖学)を紹介する。 ThinkARMは、推論トレースを分析、探索、実装、検証などの機能的推論ステップに明示的に抽象化する。 エピソードレベルの表現は推論ステップを明確にし、現代の言語モデルにおける推論がどのように構造化され、安定化され、変更されるかの体系的な分析を可能にする。
  論文  参考訳（メタデータ） (2025-12-23T02:44:25Z)
• A Closer Look at Bias and Chain-of-Thought Faithfulness of Large (Vision) Language Models [58.32070787537946]
  思考の連鎖(CoT)推論は、大きな言語モデルの性能を高める。 大規模視覚言語モデルにおけるCoT忠実度に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-05-29T18:55:05Z)
• Towards Efficient Modelling of String Dynamics: A Comparison of State Space and Koopman based Deep Learning Methods [8.654571696634825]
  State Space Models (SSM) と Koopman に基づくディープラーニング手法は、線形および非線形の剛弦の力学をモデル化する。 以上の結果から,提案したクープマンモデルが,長周期モデリングにおける非線形ケースにおいて,他の既存手法と同等以上の性能を示すことが示唆された。 本研究は、これらの手法と過去の手法の比較概要を提供し、モデル改善のための革新的な戦略を導入することにより、力学系の物理モデリングに関する洞察を貢献する。
  論文  参考訳（メタデータ） (2024-08-29T15:55:27Z)
• Neural Persistence Dynamics [8.197801260302642]
  時間発展する点雲のトポロジにおける力学を学習する問題を考察する。 提案したモデル - $textitNeural Persistence Dynamics$ - は、パラメータ回帰タスクの多種多様なセットで最先端のパフォーマンスを大幅に上回る。
  論文  参考訳（メタデータ） (2024-05-24T17:20:18Z)
• A Fixed-Point Approach for Causal Generative Modeling [20.88890689294816]
  本稿では,構造因果モデル(Structure Causal Models, SCM)を因果順序付き変数の固定点問題として記述する新しい形式論を提案する。 トポロジカル順序付け(TO)を考えると,その特異な回復のために最も弱い既知の条件を確立する。
  論文  参考訳（メタデータ） (2024-04-10T12:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。