論文の概要: Generative Recursive Reasoning
- arxiv url: http://arxiv.org/abs/2605.19376v1
- Date: Tue, 19 May 2026 05:20:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.138131
- Title: Generative Recursive Reasoning
- Title(参考訳): 生成的再帰的推論
- Authors: Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn,
- Abstract要約: EmphGenerative Recursive ReAsoning Models (GRAM)を導入する。
GRAMは$p_(y mid x)$で条件推論をサポートし、固定または欠落した入力では$p_(x)$で条件生成を行う。
- 参考スコア(独自算出の注目度): 67.22973831501257
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How should future neural reasoning systems implement extended computation? Recursive Reasoning Models (RRMs) offer a promising alternative to autoregressive sequence extension by performing iterative latent-state refinement with shared transition functions. Yet existing RRMs are largely deterministic, following a single latent trajectory and converging to a single prediction. We introduce \emph{Generative Recursive reAsoning Models (GRAM)}, a framework that turns recursive latent reasoning into probabilistic multi-trajectory computation. GRAM models reasoning as a stochastic latent trajectory, enabling multiple hypotheses, alternative solution strategies, and inference-time scaling through both recursive depth and parallel trajectory sampling. This yields a latent-variable generative model supporting conditional reasoning via $p_θ(y \mid x)$ and, with fixed or absent inputs, unconditional generation via $p_θ(x)$. Trained with amortized variational inference, GRAM improves over deterministic recurrent and recursive baselines on structured reasoning and multi-solution constraint satisfaction tasks, while demonstrating an unconditional generation capability. \href{https://ahn-ml.github.io/gram-website/}{https://ahn-ml.github.io/gram-website}
- Abstract(参考訳): 将来の神経推論システムはどのように拡張計算を実装するべきか?
Recursive Reasoning Models (RRMs) は、共有遷移関数で反復潜在状態洗練を実行することで、自己回帰的シーケンス拡張に代わる有望な代替手段を提供する。
しかし、既存のRCMは決定論的であり、単一の潜在軌道を辿り、単一の予測に収束する。
本稿では,再帰的回帰推論を確率論的多軌道計算に変換するフレームワークである \emph{Generative Recursive ReAsoning Models (GRAM) を紹介する。
GRAMは確率的潜在軌道として推論し、複数の仮説、代替的な解法戦略、再帰的な深さと平行な軌道サンプリングによる推論時間スケーリングを可能にする。
これにより、$p_θ(y \mid x)$ による条件推論をサポートする潜在変数生成モデルと、$p_θ(x)$ による不条件生成が成立する。
GRAMは、非条件生成能力を実証しつつ、構造化推論と多解制約満足度タスクにおける決定論的再帰および再帰的ベースラインよりも改善する。
https://ahn-ml.github.io/gram-website/}{https://ahn-ml.github.io/gram-website}
関連論文リスト
- Recursive Multi-Agent Systems [106.82473907888497]
本稿では,マルチエージェントフレームワークであるRecursiveMASを紹介する。
RecursiveMASは、軽量なRecursiveLinkモジュールを介して、異種エージェントを協調ループとして接続する。
実行時複雑性と学習力学の理論解析により、RecursiveMASは標準テキストベースMASよりも効率的であることが判明した。
論文 参考訳(メタデータ) (2026-04-28T17:59:34Z) - Statistical-Computational Trade-offs for Recursive Adaptive Partitioning Estimators [11.77169131123735]
我々は,高次元回帰のためのグリーディアルゴリズムが局所最適点において立ち往生していることを示す。
低い推定誤差を達成するために、greedyトレーニングには$exp(Omega(d))$が必要であることを示す。
この二分法は、平均場状態における勾配降下(SGD)を訓練した2層ニューラルネットワークを反映する。
論文 参考訳(メタデータ) (2024-11-07T03:11:53Z) - COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。
我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。
当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
論文 参考訳(メタデータ) (2024-10-12T23:56:19Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - Recursive Reinforcement Learning [4.429642479975602]
再帰は、潜在的無限のオブジェクトを有限に記述する基本的なパラダイムである。
我々はマルコフ決定プロセスの集合として記述された環境における最適ポリシーを計算できるRLアルゴリズムを開発した。
論文 参考訳(メタデータ) (2022-06-23T00:29:42Z) - TreeFlow: Going beyond Tree-based Gaussian Probabilistic Regression [0.0]
ツリーアンサンブルを使うことの利点と柔軟な確率分布をモデル化する能力を組み合わせたツリーベースアプローチであるTreeFlowを紹介した。
提案手法は, 諸量, 特徴量, 目標寸法の異なる回帰ベンチマークを用いて評価する。
論文 参考訳(メタデータ) (2022-06-08T20:06:23Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。