論文の概要: Tiny Recursive Reasoning with Mamba-2 Attention Hybrid

• arxiv url: http://arxiv.org/abs/2602.12078v1
• Date: Thu, 12 Feb 2026 15:36:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.894328
• Title: Tiny Recursive Reasoning with Mamba-2 Attention Hybrid
• Title（参考訳）: Mamba-2アテンションハイブリッドを用いたTiny Recursive Reasoning
• Authors: Wenlong Wang, Fergal Reid,
• Abstract要約: マンバ-2の状態空間の再発は、それ自体反復的精製の一形態である。 TRM の Transformer ブロックを Mamba-2 ハイブリッド演算子に置き換える。 We found that the hybrid improves pass@2 by +2.0% (45.88% vs 43.88%)。
• 参考スコア（独自算出の注目度）: 10.230437172157474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on recursive reasoning models like TRM demonstrates that tiny networks (7M parameters) can achieve strong performance on abstract reasoning tasks through latent recursion -- iterative refinement in hidden representation space without emitting intermediate tokens. This raises a natural question about operator choice: Mamba-2's state space recurrence is itself a form of iterative refinement, making it a natural candidate for recursive reasoning -- but does introducing Mamba-2 into the recursive scaffold preserve reasoning capability? We investigate this by replacing the Transformer blocks in TRM with Mamba-2 hybrid operators while maintaining parameter parity (6.83M vs 6.86M parameters). On ARC-AGI-1, we find that the hybrid improves pass@2 (the official metric) by +2.0\% (45.88\% vs 43.88\%) and consistently outperforms at higher K values (+4.75\% at pass@100), whilst maintaining pass@1 parity. This suggests improved candidate coverage -- the model generates correct solutions more reliably -- with similar top-1 selection. Our results validate that Mamba-2 hybrid operators preserve reasoning capability within the recursive scaffold, establishing SSM-based operators as viable candidates in the recursive operator design space and taking a first step towards understanding the best mixing strategies for recursive reasoning.
• Abstract（参考訳）: TRMのような再帰的推論モデルに関する最近の研究は、小さなネットワーク(7Mパラメータ)が遅延再帰によって抽象的推論タスクにおいて強力なパフォーマンスを達成できることを実証している。 Mamba-2の状態空間の再発はそれ自体反復的洗練の形式であり、再帰的推論の自然な候補となる。 パラメータパリティ(6.83M対6.86M)を維持しながら、TRMのTransformerブロックをMamba-2ハイブリット演算子に置き換えることにより、これを検証した。 ARC-AGI-1では、このハイブリッドはpass@2(公式メトリック)を+2.0\%(45.88\% vs 43.88\%)改善し、pass@100では+4.75\%)高いK値で一貫して上回っている。 このことは、モデルが同様のトップ1選択で、より確実に正しいソリューションを生成する、改善された候補カバレッジを示唆している。 以上の結果から,再帰的足場内での推論能力を維持したMamba-2ハイブリット演算子の有効性を検証し,再帰的演算子設計の候補としてSSMベースの演算子を確立するとともに,再帰的推論のための最良の混合戦略の理解に向けて第一歩を踏み出した。

関連論文リスト

• Looping Back to Move Forward: Recursive Transformers for Efficient and Flexible Large Multimodal Models [63.47909317137073]
  大規模マルチモーダルモデル (LMM) は視覚言語計算タスクにおいて顕著な成功を収めた。 しかし、その膨大なパラメータ数は、トレーニングと推論の両方で利用されていないことが多い。 LMMに適した再帰トランスフォーマーアーキテクチャであるRecursiveVLMを提案する。
  論文  参考訳（メタデータ） (2026-02-09T17:58:23Z)
• DPRM: A Dual Implicit Process Reward Model in Multi-Hop Question Answering [62.11407895095892]
  質問応答タスクでは、Chain of Thought (CoT) は多段階推論を通じて大きな言語モデルを誘導し、知識グラフ (KG) は意味マッチングによる幻覚を減らす。 従来のプロセスリワードモデル(PRM)は推論プロセスを評価するが、コストのかかる人的アノテーションやロールアウト生成を必要とする。 DPRM(Dual Implicit Process Reward Model)は,MHQAタスクにおける2つの暗黙のPRMをCoTとKGの推論のために訓練する。
  論文  参考訳（メタデータ） (2025-11-11T15:41:22Z)
• MeSH: Memory-as-State-Highways for Recursive Transformers [23.995570647573484]
  パラメータが少ない再帰モデルは、マッチした計算の下では非再帰的モデルよりも遅れることが多い。 隠れた状態を探索することで、このパフォーマンスギャップを2つの主要なボトルネックにトレースします。 メモリ管理を明示的なメモリバッファに外部化するメモリ・アズ・ステート・ハイウェイ方式を導入する。
  論文  参考訳（メタデータ） (2025-10-09T03:23:38Z)
• Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation [61.67090981767583]
  本研究では,Mixture-of-Recursions (MoR)を導入した。 MoRはパラメータ効率を達成するために再帰ステップをまたいだ共有レイヤのスタックを再利用し、軽量ルータは適応トークンレベルの思考を可能にする。 また、メモリフットプリントをさらに削減するために、KVペアを最初の再帰から再利用するKV共有変種を提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:49:00Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。