論文の概要: Stream Recursion Model (SRM)

• arxiv url: http://arxiv.org/abs/2609.28809v1
• Date: Wed, 23 Sep 2026 21:43:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.572794
• Title: Stream Recursion Model (SRM)
• Title（参考訳）: ストリーム再帰モデル(SRM)
• Abstract要約: 本稿では,SRM(Stream Recursion Model)を導入し,拡張性を維持しながら内部計算構造を明らかにする。 分析の結果,ストリーム間の一貫した挙動が明らかとなり,構造化と特殊化の相互作用が示唆された。
• 参考スコア（独自算出の注目度）: 1.1756447397229062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability seeks to make verifiable statements about the internal behavior of large language models (LLMs). Many interpretability techniques struggle to scale with the increasing size and depth of architectures. Our solution to this is to introduce smaller models with structures that lend themselves to interpretability. In this work, we introduce the Stream Recursion Model (SRM), a modification of the Hierarchical Reasoning Model (HRM) designed to expose internal computational structure while remaining scalable. SRM organizes computation into multiple interacting latent streams that are updated through recursive refinement, enabling direct analysis of stream dynamics, causal contribution, and routing behavior. SRM achieves performance comparable to GPT-2 on a per-parameter basis. Our analysis reveals consistent and distinct behavior across streams, indicating structured specialization and interaction. These results suggest that SRM provides a practical architectural foundation for scalable mechanistic interpretability and opens up promising avenues for future research in both reasoning performance and interpretability.
• Abstract（参考訳）: 機械的解釈可能性 (Mechanistic interpretability) は、大規模言語モデル (LLM) の内部挙動に関する検証可能なステートメントを求める。 多くの解釈可能性技術は、アーキテクチャのサイズと深さの増大に苦慮している。 これに対する我々の解決策は、解釈可能性を高める構造を持つより小さなモデルを導入することです。 本研究では,階層型推論モデル (HRM) を改良したストリーム再帰モデル (SRM) を提案する。 SRMは、再帰的洗練によって更新される複数の対話的潜在ストリームに計算を整理し、ストリームダイナミクス、因果寄与、ルーティング動作を直接解析する。 SRMは、パラメータごとにGPT-2に匹敵する性能を達成する。 分析の結果,ストリーム間の一貫した,一貫した挙動が明らかとなり,構造化された特殊化と相互作用が示唆された。 これらの結果は、SRMがスケーラブルな機械的解釈可能性のための実用的なアーキテクチャ基盤を提供し、推論性能と解釈可能性の両方において将来の研究に期待できる道を開くことを示唆している。

関連論文リスト

• Adaptive Recurrent Message Passing for Test Time Computing on Graphs [80.56829418752513]
  繰り返しグラフモデルでは,グラフデータとアーキテクチャ設計の固有のミスマッチを克服できることを示す。 本稿では,アダプティブ・リカレントグラフモデルであるAdaRを提案する。
  論文  参考訳（メタデータ） (2026-06-21T12:14:11Z)
• CosmicFish-HRM: Adaptive Reasoning via Hierarchical Recurrent Mechanisms in Compact Language Models [0.0]
  本稿では適応推論深度を持つコンパクト言語モデルであるCosmicFish-HRMを提案する。 モデルは非一様推論の振る舞いを学習し、タスクと入力をまたいだ推論ステップの数を割り振る。 これらの結果から,適応推論深度は,推論能力のパラメータスケールにのみ依存するよりも,有望な代替となる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-05-27T17:59:14Z)
• Decoding the Critique Mechanism in Large Reasoning Models [50.821607345799386]
  大規模推論モデル(LRM)は、バックトラックと自己検証メカニズムを示し、中間ステップを修正して正しい解に到達できるようにする。 中間推論ステップに算術ミスを挿入することにより,現在のLEMがエラーからどのように回復するかを検討する。 チェーン・オブ・シークレットを伝播する誤りにもかかわらず、モデルは依然として正しい最終解に達している。
  論文  参考訳（メタデータ） (2026-03-17T10:03:30Z)
• Tiny Autoregressive Recursive Models [48.902738432071935]
  Tiny Recursive Models (TRMs) は最近のARC-AGIで顕著な性能を示した。 本稿では、自己回帰TRMを提案し、小さな自己回帰タスクで評価する。 期待に反して、完全なAutoregressive TRMアーキテクチャによる信頼性の高いパフォーマンス向上は見つからない。
  論文  参考訳（メタデータ） (2026-03-09T08:22:45Z)
• Multi-Agent Procedural Graph Extraction with Structural and Logical Refinement [66.51979814832332]
  モデル式は、専用の構造的および論理的洗練を伴う多ラウンド推論プロセスとして手続きグラフ抽出を定式化する。 実験により、モデルが強いベースラインに対して構造的正当性と論理的整合性の両方において大幅に改善されることが示されている。
  論文  参考訳（メタデータ） (2026-01-27T04:00:48Z)
• CALM Before the STORM: Unlocking Native Reasoning for Optimization Modeling [60.55856973678002]
  大規模推論モデル (LRM) は、複雑な多段階推論において強力な機能を示した。 既存のドメイン適応手法は、元々は命令調整モデル用に設計されていたが、現代のLEMの高度な推論パターンをうまく利用できなかった。 我々は、最適化モデリングタスクのためのネイティブ推論モード内でのLEMを段階的に洗練するフレームワークである textbfCALM を提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:38:31Z)
• Structural Reward Model: Enhancing Interpretability, Efficiency, and Scalability in Reward Modeling [23.919163488129985]
  Structure Reward Model (SRM) はサイドブランチと補助機能ジェネレータを統合したモジュラーフレームワークである。 粒度の細かい寸法を導入することで、RMは解釈可能で効率的な評価、ターゲット診断、最適化を可能にします。
  論文  参考訳（メタデータ） (2025-09-29T18:09:25Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Understanding the Language Model to Solve the Symbolic Multi-Step Reasoning Problem from the Perspective of Buffer Mechanism [68.05754701230039]
  本研究では,トランスフォーマーモデルにおける情報伝達機構を解明するために,シンボル的多段階推論タスクを構築する。 モデルの推論能力を高めるために,ランダムな行列に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。