論文の概要: What Limits Recursive Reasoning Models: Optimization, Architecture and Test-Time Scaling

• arxiv url: http://arxiv.org/abs/2609.39967v1
• Date: Wed, 30 Sep 2026 15:32:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.97799
• Title: What Limits Recursive Reasoning Models: Optimization, Architecture and Test-Time Scaling
• Title（参考訳）: Recursive Reasoning Models:最適化、アーキテクチャ、テストタイムスケーリング
• Abstract要約: 再帰的推論モデルは、潜在状態を洗練させるために、小さな共有トランスフォーマーブロックを何度も適用する。 HRM, TRM, URMといった既存のモデルでは, アーキテクチャ, 勾配伝搬, 訓練手順が同時に異なる。 これにより、パフォーマンスを何に駆動するかを知ることが難しくなり、その最適化はいまだに理解されておらず、不安定であることが多い。
• 参考スコア（独自算出の注目度）: 2.0153617877496903
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recursive reasoning models apply a small shared Transformer block many times to refine a latent state. This gives them large effective depth with few parameters and makes them strong on algorithmic tasks. Such compact solvers are natural candidates for tools that an LLM can call on narrow algorithmic subproblems. However, existing models such as HRM, TRM and URM differ in architecture, gradient propagation and training procedure simultaneously. This makes it hard to tell what drives their performance, and their optimization is still poorly understood and often unstable. In this work we address both of these gaps. First, we study these questions under a unified experimental pipeline spanning six algorithmic domains. Individual controlled ablations are performed on representative domains, while the resulting recipe is evaluated across the full suite. The study reveals a surprisingly simple recipe for stable and generalizable recursive reasoning: an intermediate gradient horizon, large physical batches and controlled updates of the recurrent state. An explicit hierarchical architecture is not needed. Second, we combine these findings into a stable 13.6M-parameter model that achieves the strongest overall performance among the evaluated recursive baselines, with particularly large gains on out-of-distribution generalization. It raises Arithmetic OOD accuracy to 71.2%, from 36.2% for the strongest baseline, while reaching 98.41% on Sudoku and 59.5% pass@2 on ARC-AGI-1. Our results show that, within the recursive architectures studied here, performance depends strongly on how recurrence is optimized and stabilized. More broadly, it shows how AI systems can be improved by optimizing their components one at a time.
• Abstract（参考訳）: 再帰的推論モデルは、潜在状態を洗練させるために、小さな共有トランスフォーマーブロックを何度も適用する。 これにより、パラメータがほとんどない大きな効果的な深さが得られ、アルゴリズム的なタスクに強くなる。 このようなコンパクトな解法は、LLMが狭いアルゴリズムのサブプロブレムを呼ぶことができるツールの自然な候補である。 しかし、HRM、TRM、URMといった既存のモデルでは、アーキテクチャ、勾配伝播、訓練手順が同時に異なる。 これにより、パフォーマンスを何に駆動するかを知ることが難しくなり、その最適化はいまだに理解されておらず、不安定であることが多い。 この作業では、これらのギャップの両方に対処します。 まず、これらの疑問を6つのアルゴリズム領域にまたがる統一的な実験パイプラインで研究する。 個々のコントロールされたアブリゲーションは代表ドメインで行われ、その結果のレシピは全スイートで評価される。 この研究は、安定かつ一般化可能な再帰的推論(中間勾配水平線、大きな物理的バッチ、再帰状態の制御された更新)の驚くほど単純なレシピを明らかにした。 明確な階層アーキテクチャは必要ない。 第2に、これらの知見を安定な13.6Mパラメータモデルに組み合わせ、評価された再帰的ベースラインの中で最も高い総合的な性能を達成する。 算術OODの精度は71.2%まで上昇し、最強のベースラインでは36.2%、スドクでは98.41%、ARC-AGI-1では59.5%に達した。 この結果から,再帰的アーキテクチャでは,再帰性の最適化と安定化の度合いに強く依存することが明らかとなった。 より広い範囲では、コンポーネントを一度に最適化することで、AIシステムがどのように改善されるかを示している。

関連論文リスト

• Tiny Recursive Models on ARC-AGI-1: Inductive Biases, Identity Conditioning, and Test-Time Compute [0.0]
  我々はARC-AGI-1のARC Prize TRMチェックポイントを実験的に分析した。 テストタイムの増大と多数投票の合理化が報告された性能のかなりの部分を占めていることを示す。 また, TRMとLlama 3 8BのQLoRAファインチューンを標準ARC-AGI-1上で比較した。
  論文  参考訳（メタデータ） (2025-12-04T06:20:44Z)
• RS-ORT: A Reduced-Space Branch-and-Bound Algorithm for Optimal Regression Trees [2.612627266839037]
  MIP(Mixed-integer Programming)は最適な決定木を学習するための強力なフレームワークとして登場した。 連続的な特徴を内在的にバイナライズすることは、グローバルな最適性を犠牲にし、しばしば不必要に深い木を産み出す。 最適回帰木学習を2段階最適化問題として再放送し、RS-ORT(Reduceed-Space Optimal Regression Trees)を提案する。 RS-ORTは木構造変数のみに枝分かれする特殊分岐結合(BB)アルゴリズムである。
  論文  参考訳（メタデータ） (2025-10-27T22:17:09Z)
• TreeRPO: Tree Relative Policy Optimization [65.51935468270916]
  nameは、ツリーサンプリングを用いて、様々な推論ステップで報酬の数学的期待を推定する新しい方法である。 GRPOの集団相対的な報酬訓練機構に基づいて、木サンプリング時に生成されたステップレベルグループに基づいて報酬を革新的に計算する。
  論文  参考訳（メタデータ） (2025-06-05T15:56:38Z)
• Pruning Everything, Everywhere, All at Once [1.7811840395202343]
  ディープラーニングモデルにおけるプルーニング構造は、モデルの複雑さを効率的に低減し、計算効率を向上させる。 本稿では,モデル内で異なる構造を抽出できる新しい手法を提案する。 このプロセスを反復的に繰り返すことは、元の予測能力を保った非常にスパースなモデルを提供する。
  論文  参考訳（メタデータ） (2025-06-04T23:34:28Z)
• Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs [76.43407125275202]
  o1のようなモデルは、推論中に人間のような長時間の思考をエミュレートすることができる。 本論文は,これらのモデルにおける過度な考察の課題に関する,最初の包括的研究である。 精度を損なうことなく、過剰思考を緩和し、推論プロセスを合理化するための戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-30T18:55:12Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• Bayesian Neural Architecture Search using A Training-Free Performance Metric [7.775212462771685]
  リカレントニューラルネットワーク(RNN)は時系列予測の強力なアプローチである。 本稿では,ベイズ最適化(BO)アルゴリズムの変種を用いて,アーキテクチャ最適化問題に取り組むことを提案する。 また,可変長アーキテクチャ表現に対処する3つの固定長符号化方式を提案する。
  論文  参考訳（メタデータ） (2020-01-29T08:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。