論文の概要: Probabilistic Tiny Recursive Model
- arxiv url: http://arxiv.org/abs/2605.19943v1
- Date: Tue, 19 May 2026 15:00:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.455318
- Title: Probabilistic Tiny Recursive Model
- Title(参考訳): 確率的Tiny再帰モデル
- Abstract要約: Tiny Recursive Models (TRM)は、現代の大規模言語モデル(LLM)のパラメータのごく一部で複雑な推論タスクを解決する。
本稿では,テスト時間計算スケーリングのためのタスク依存フレームワークであるProbabilistic TRMを紹介する。
PTRMは、それぞれの深い再帰ステップでガウスノイズを注入し、平行軌道が様々な溶液盆地を探索することを可能にする。
- 参考スコア(独自算出の注目度): 5.602735174786989
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tiny Recursive Models (TRM) solve complex reasoning tasks with a fraction of the parameters of modern large language models (LLMs) by iteratively refining a latent state and final answer. While powerful, their deterministic recursion can lead to convergence at suboptimal solutions, without escape mechanism. A common workaround relies on task-specific input perturbations at test time combined with answer aggregation via voting. We introduce Probabilistic TRM (PTRM), a task-agnostic framework for test-time compute scaling that addresses this limitation through stochastic exploration. PTRM injects Gaussian noise at each deep recursion step, enabling parallel trajectories to explore diverse solution basins, and selects among them using the model's existing Q head (used for early stopping in the original TRM). Without requiring retraining or task-specific augmentations, PTRM enables substantial accuracy gains across benchmarks, including Sudoku-Extreme (87.4% to 98.75%) and on various puzzles from Pencil Puzzle Bench (62.6% to 91.2%). On the latter, PTRM achieves nearly double the accuracy of frontier LLMs (91.2% vs. 55.1%) at less than 0.0001x the cost, using only 7M parameters.
- Abstract(参考訳): Tiny Recursive Models (TRM) は、最新の大規模言語モデル(LLM)のパラメータのごく一部で複雑な推論タスクを解決する。
強力ではあるが、その決定論的再帰は、エスケープ機構なしで準最適解の収束につながる。
一般的な回避策は、テスト時のタスク固有の入力摂動と、投票による回答の集約に依存する。
本稿では、確率的探索によるこの制限に対処する、テスト時間計算スケーリングのためのタスク非依存のフレームワークであるProbabilistic TRM(PTRM)を紹介する。
PTRMは、各深部再帰ステップでガウスノイズを注入し、並列軌道で様々な溶液盆地を探索し、モデルの既存のQヘッド(元のTRMの早期停止に使用される)を使用してそれらの中から選択する。
PTRMはトレーニングやタスク固有の拡張を必要とせず、Sudoku-Extreme (87.4% - 98.75%) や Pencil Puzzle Bench (62.6% - 91.2%) の様々なパズルを含むベンチマークでかなりの精度向上を実現している。
後者では、PTRM はフロンティア LLM (91.2% vs. 55.1%) の精度を 0.0001倍以下で達成し、パラメータは7M のみである。
関連論文リスト
- ThinkRetrieve: Retrieval-Augmented Reasoning Traces for Test-Time Scaling [60.48279351544583]
ThinkRetrieveは大規模な推論モデルのためのテスト時間スケーリングフレームワークである。
それぞれの中間ステップで関連する例を検索し、思考トレースに直接注入する。
標準的なテスト時間スケーリングよりも精度が一貫して向上する。
論文 参考訳(メタデータ) (2026-08-11T13:58:07Z) - Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。
本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。
Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
論文 参考訳(メタデータ) (2026-06-01T04:43:36Z) - Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。
当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。
提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
論文 参考訳(メタデータ) (2026-04-16T17:39:33Z) - Dynamical Systems Theory Behind a Hierarchical Reasoning Model [0.0]
契約マッピングモデル(CMM)は、離散的推論を連続的ニューラル正規および微分方程式(NODE/NSDE)に変換する新しいアーキテクチャである。
CMMは最先端の精度93.7%に達し、27M-Extremeベンチマークと85.4%のSudooku-Extremeベンチマークを上回っている。
結果は、数学的に厳密な潜在力学が、人工推論におけるブルートフォーススケーリングを効果的に置き換えることができることを証明し、極端なパラメータ効率のための新たなフロンティアを確立する。
論文 参考訳(メタデータ) (2026-03-24T07:14:22Z) - Form Follows Function: Recursive Stem Model [0.0]
本稿では,計算量とNP問題を解くためにRecursive Stem Model (RSM)を導入する。
RSMは、初期イテレーションを分離された"ウォームアップ"ステップとして扱い、最終ステップでのみ損失を適用します。
Sudoku-Extremeでは、RSMはテスト時間計算で精度97.5%に達する。
論文 参考訳(メタデータ) (2026-03-03T00:55:00Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳(メタデータ) (2026-02-27T05:22:01Z) - Process Reward Models That Think [85.06022494911811]
ステップバイステップ検証 - プロセス報酬モデル(PRM)としても知られる - は、テスト時間スケーリングの鍵となる要素である。
この研究は、検証チェーン・オブ・シント(CoT)を生成することにより、ソリューションのすべてのステップを検証する言語化されたステップワイド報酬モデルとして、データ効率の高いPRMを構築することを目的としている。
我々は差別的PRMよりもプロセスラベルを桁違いに少なめに微調整した長いCoT検証器ThinkPRMを提案する。
論文 参考訳(メタデータ) (2025-04-23T15:44:54Z) - Dynamic Early Exit in Reasoning Models [21.30793518631921]
長いチェーン・オブ・シンクレット(CoT)生成における再考は、問題解決の効率を低下させるだけでなく、精度損失のリスクも引き起こす。
我々は,LLMが生成時に早期終了によってCoT配列を自己トランケートできる簡易かつ効果的な方法を提案する。
提案手法は追加のトレーニングを必要とせず,既存の o1 ライクな推論 LLM にシームレスに統合することができる。
論文 参考訳(メタデータ) (2025-04-22T13:36:53Z) - Solving Robust Markov Decision Processes: Generic, Reliable, Efficient [3.789219860006095]
マルコフ決定プロセス(MDP)は確率の存在下でのシーケンシャルな意思決定のための確立されたモデルである。
我々は、汎用的で信頼性があり、効率的なRMDPを解くためのフレームワークを提供する。
我々のプロトタイプ実装は、既存のツールよりも桁違いに優れている。
論文 参考訳(メタデータ) (2024-12-13T14:55:48Z) - Breaking the Sample Size Barrier in Model-Based Reinforcement Learning
with a Generative Model [50.38446482252857]
本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。
最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。
対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
論文 参考訳(メタデータ) (2020-05-26T17:53:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。