論文の概要: Tiny Autoregressive Recursive Models

• arxiv url: http://arxiv.org/abs/2603.08082v1
• Date: Mon, 09 Mar 2026 08:22:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.694793
• Title: Tiny Autoregressive Recursive Models
• Title（参考訳）: Tiny Autoregressive Recursive Models
• Authors: Paulius Rauba, Claudio Fanconi, Mihaela van der Schaar,
• Abstract要約: Tiny Recursive Models (TRMs) は最近のARC-AGIで顕著な性能を示した。 本稿では、自己回帰TRMを提案し、小さな自己回帰タスクで評価する。 期待に反して、完全なAutoregressive TRMアーキテクチャによる信頼性の高いパフォーマンス向上は見つからない。
• 参考スコア（独自算出の注目度）: 48.902738432071935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tiny Recursive Models (TRMs) have recently demonstrated remarkable performance on ARC-AGI, showing that very small models can compete against large foundation models through a two-step refinement mechanism that updates an internal reasoning state $z$ and the predicted output $y$. Naturally, such refinement is of interest for any predictor; it is therefore natural to wonder whether the TRM mechanism could be effectively re-adopted in autoregressive models. However, TRMs cannot be simply compared to standard models because they lack causal predictive structures and contain persistent latent states that make it difficult to isolate specific performance gains. In this paper, we propose the Autoregressive TRM and evaluate it on small autoregressive tasks. To understand its efficacy, we propose a suite of models that gradually transform a standard Transformer to a Tiny Autoregressive Recursive Model in a controlled setting that fixes the block design, token stream, and next-token objective. Across compute-matched experiments on character-level algorithmic tasks, we surprisingly find that there are some two-level refinement baselines that show strong performance. Contrary to expectations, we find no reliable performance gains from the full Autoregressive TRM architecture. These results offer potential promise for two-step refinement mechanisms more broadly but caution against investing in the autoregressive TRM-specific model as a fruitful research direction.
• Abstract（参考訳）: Tiny Recursive Models (TRMs) は最近のARC-AGIで顕著な性能を示しており、非常に小さなモデルでは内部推論状態の$z$と予測出力$y$を更新する2段階の改良機構によって大きな基盤モデルと競合できることを示している。 当然、このような改良は任意の予測子にとって興味深いものであり、TRM機構が自己回帰モデルで効果的に再適応できるかどうか疑問に思うのは当然である。 しかし、TRMは因果予測構造が欠如し、特定の性能向上の分離が困難になる永続的な潜伏状態を含むため、標準モデルと単純に比較することはできない。 本稿では, 自己回帰TRMを提案し, 小さな自己回帰タスクで評価する。 そこで本研究では,標準トランスフォーマーからTiny Autoregressive Recursive Modelへ,ブロック設計やトークンストリーム,次に注意すべき目的を段階的に修正するモデルセットを提案する。 文字レベルのアルゴリズムタスクに関する計算マッチング実験全体において、強い性能を示す2段階の洗練されたベースラインがあることは驚くべきことである。 期待に反して、完全なAutoregressive TRMアーキテクチャによる信頼性の高いパフォーマンス向上は見つからない。 これらの結果は、より広範に2段階の精錬機構を期待できるが、実りある研究方向として自己回帰的TRM特化モデルへの投資には注意が必要である。

関連論文リスト

• Model-based Offline RL via Robust Value-Aware Model Learning with Implicitly Differentiable Adaptive Weighting [26.86263818777302]
  Adrial Model Learningは、モデルエクスプロイトを緩和するための理論的フレームワークを提供する。 我々はtextbfImplicitly differentiable Adaptive weighting (ROMI) を用いた textbfRObust value-aware textbfModel 学習を提案する。
  論文  参考訳（メタデータ） (2026-03-09T08:59:45Z)
• Tab-TRM: Tiny Recursive Model for Insurance Pricing on Tabular Data [0.0]
  Tab-TRMは、Tiny Recursive Models(TRM)の潜在的推論パラダイムを保険モデリングに適用するネットワークアーキテクチャである。 2つの学習可能な潜在トークン – 応答トークンと推論状態 – は,コンパクトでパラメータ効率のよいネットワークによって反復的に洗練されている。
  論文  参考訳（メタデータ） (2026-01-12T16:01:49Z)
• Autoregressivity in the Latent Space of a GP-VAE Language Model: An Empirical Ablation Study [0.0]
  言語モデルは一般的にトークンに対する自己回帰的分解に依存します。 我々は,潜伏自己回帰が果たす役割について,体系的なアブレーション研究を行う。
  論文  参考訳（メタデータ） (2025-12-30T09:23:09Z)
• CALM Before the STORM: Unlocking Native Reasoning for Optimization Modeling [60.55856973678002]
  大規模推論モデル (LRM) は、複雑な多段階推論において強力な機能を示した。 既存のドメイン適応手法は、元々は命令調整モデル用に設計されていたが、現代のLEMの高度な推論パターンをうまく利用できなかった。 我々は、最適化モデリングタスクのためのネイティブ推論モード内でのLEMを段階的に洗練するフレームワークである textbfCALM を提案する。
  論文  参考訳（メタデータ） (2025-10-05T13:38:31Z)
• RM-R1: Reward Modeling as Reasoning [81.50471199906738]
  Reasoning Reward Models (ReasRMs) は、報酬モデリングを推論タスクとして定式化する。 我々は推論指向のトレーニングパイプラインを提案し、ReasRMのファミリーであるRM-R1を訓練する。 我々のモデルは、平均して3つの報酬モデルベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-05T06:11:12Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)
• Trust the Model When It Is Confident: Masked Model-based Actor-Critic [11.675078067322897]
  Masked Model-based Actor-Critic (M2AC)は、新しいポリシー最適化アルゴリズムである。 M2ACはモデルの不確実性に基づいてマスキング機構を実装し、その予測が使用されるかどうかを決定する。
  論文  参考訳（メタデータ） (2020-10-10T03:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。