論文の概要: Dissecting Hierarchical Reasoning Models: A Mechanistic Study

• arxiv url: http://arxiv.org/abs/2609.22197v1
• Date: Sun, 30 Aug 2026 09:19:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.767791
• Title: Dissecting Hierarchical Reasoning Models: A Mechanistic Study
• Title（参考訳）: 階層的推論モデルを切り離す:機械論的研究
• Abstract要約: 本研究では,スドク,マゼ,ARC-AGI-2における代表的な階層型トランスフォーマーに基づく潜在推論モデルについて検討する。 我々は、HRMの理由と、それがコード化する情報を機械的に理解している。
• 参考スコア（独自算出の注目度）: 2.7732861587229087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study Hierarchical Reasoning Model (HRM), a representative hierarchical Transformer-based latent reasoning model with many variants, on Sudoku, Maze, and ARC-AGI-2. We mechanistically understand how HRM reasons and what information it encodes. Our analyses compare HRM against Transformer baselines with and without recurrent modules, apply causal interventions on recurrent states, and utilize linear probes against random-direction ablations, as well as sparse autoencoders with feature ablations. Our results reveal several key findings: recurrent models outperform one-pass baselines, while single-state recurrent Transformers are comparable to HRM. State interventions further show that the causal contributions of the high- and low-level states vary across task-specific checkpoints and inference stages. Selected task variables are linearly decodable from the recurrent states in HRM, yet ablating probe directions produce effects comparable to random controls. SAE ablations yield larger behavioral changes than probe-direction ablations. However, top-ranked SAE features show no stable advantage over size-matched random subsets at larger ablation sizes or across tasks; the same pattern persists in a Sudoku control with within-step BPTT. Together, we characterize that HRM is essentially implementing constraint-aware iterative refinement on a puzzle-specific solution state, in which the functional contributions of components at different levels vary without relying on a compact, causally important feature set. These results highlight the necessity of studying the different working mechanisms and the importance of developing mechanistic interpretability techniques better suited for latent-space, recursive reasoning models.
• Abstract（参考訳）: 本研究では,スドク,マゼ,ARC-AGI-2の多変量を用いた階層型トランスフォーマーに基づく潜在推論モデルである階層型推論モデル(HRM)について検討する。 我々は、HRMの理由と、それがコード化する情報を機械的に理解している。 解析では,トランスフォーマーのベースラインに対するHRMと繰り返しモジュールとの比較,繰り返し状態に対する因果介入の適用,ランダム方向のアブレーションに対する線形プローブの活用,特徴のアブレーションを伴うスパースオートエンコーダについて検討した。 単状態再帰変換器はHRMに匹敵する一方,再帰モデルは1パスベースラインを上回っている。 国家介入は、タスク固有のチェックポイントや推論段階によって、ハイレベルな状態と低レベルな状態の因果的貢献が異なることを示している。 選択されたタスク変数は、HRMの繰り返し状態から線形に退避可能であるが、プローブの方向がランダム制御に匹敵する効果をもたらす。 SAEアブレーションはプローブ指向アブレーションよりも大きな挙動変化をもたらす。 しかし、上位のSAE機能は、より大きなアブレーションサイズやタスク全体において、サイズマッチングされたランダムサブセットよりも安定した優位性を示していない。 同時に,HRMは,コンパクトかつ因果的に重要な特徴セットに頼らずに,異なるレベルのコンポーネントの機能的寄与が異なるような,パズル固有の解状態に制約を意識した反復的改善を実装している,と特徴付けする。 これらの結果は、異なる作業機構を研究することの必要性と、潜在空間再帰的推論モデルに適した機械的解釈可能性技術を開発することの重要性を強調している。

関連論文リスト

• On a joint simultaneous learning of relevant feature subsets and subspaces in regression-like problems [1.0152838128195467]
  エントロピー最適マニフォールド回帰(EOMR) EOMRは人工知能(AI)と機械学習(ML)の最先端ツールの最も完全なセットと比較される 長谷川-若谷の例では、EOMRは非常に単純なエントロピー最適化と、主要な基本直交関数(EOF)の素小記述を蒸留する。
  論文  参考訳（メタデータ） (2026-07-30T11:51:29Z)
• Evolution-Aware MSA Reasoning for Subsampling via Factor Graphs [55.715754117956514]
  複数のシーケンスアライメントは、明示的な進化コンテキストを持つタンパク質言語モデルを提供する。 MSAサブサンプリングは限定的なトークン予算では避けられない。 本稿では,因子グラフ推論を用いて固定予算MSAサブセットを推定するAP-REASONERを提案する。
  論文  参考訳（メタデータ） (2026-07-24T13:55:21Z)
• CosmicFish-HRM: Adaptive Reasoning via Hierarchical Recurrent Mechanisms in Compact Language Models [0.0]
  本稿では適応推論深度を持つコンパクト言語モデルであるCosmicFish-HRMを提案する。 モデルは非一様推論の振る舞いを学習し、タスクと入力をまたいだ推論ステップの数を割り振る。 これらの結果から,適応推論深度は,推論能力のパラメータスケールにのみ依存するよりも,有望な代替となる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-27T17:59:14Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Disentangling Recall and Reasoning in Transformer Models through Layer-wise Attention and Activation Analysis [3.1526281887627587]
  モデル一般化の予測には推論からのリコールの排除が不可欠である。 我々は、制御された合成言語パズルのデータセットを使用して、層、頭、ニューロンレベルでトランスフォーマーモデルを探索する。 この結果から、リコールと推論は変換器モデルにおける分離可能だが相互作用する回路に依存しているという最初の因果的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-03T04:13:06Z)
• Spatial Reasoning with Denoising Models [49.83744014336816]
  本稿では,連続変数の集合に対する推論を行うためのフレームワークを提案する。 初めて、その生成順序をデノナイジングネットワーク自体によって予測できる。 これらの結果から,特定の推論タスクの精度を1%から50%に向上させることができる。
  論文  参考訳（メタデータ） (2025-02-28T14:08:30Z)
• Relational Reasoning via Set Transformers: Provable Efficiency and Applications to MARL [154.13105285663656]
  置換不変エージェントフレームワークを用いたMARL(Multi-A gent R einforcement Learning)は,実世界のアプリケーションにおいて大きな実証的成功を収めた。 残念なことに、このMARL問題の理論的理解は、多くのエージェントの呪いと、既存の著作における関係推論の限定的な探索によって欠落している。 モデルフリーアルゴリズムとモデルベースアルゴリズムの最適度差は各エージェント数に独立して対数的であり、多くのエージェントの呪いを和らげる。
  論文  参考訳（メタデータ） (2022-09-20T16:42:59Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。