論文の概要: Recursive Language Models Generalize Out of Domain

• arxiv url: http://arxiv.org/abs/2609.20831v1
• Date: Thu, 23 Jul 2026 03:49:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.679331
• Title: Recursive Language Models Generalize Out of Domain
• Title（参考訳）: ドメイン外を一般化する再帰的言語モデル
• Abstract要約: 言語モデルにできることを制限することによって、学習が改善される。 より一般的な学習者である標準のCoTと再帰的言語モデルを比較し,各サブタスクを分離した文脈で解くことで自分自身を制約する。
• 参考スコア（独自算出の注目度）: 28.166935952629075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study when limiting what a language model can see improves learning. We compare standard CoT, the more general learner that reads the full trace, with recursive language models, which restricts itself by solving each subtask in an isolated context. In-distribution, this generality comes for free: CoT can efficiently simulate the recursive rule, so the IID generalization guarantee changes only by a constant factor, and recursion does not offer much. But out of domain, CoT can fit training by relying on context outside the current subtask, i.e. a shortcut that breaks once those tokens change; recursive context isolation rules out this failure mode. Even though CoT's class still covers the recursive rule, simplicity bias picks the shortcut over the truth. Thus, to go beyond distributional accuracy and truly reason, covering the right rule is not enough; this contrasts with classical learning theory.
• Abstract（参考訳）: 言語モデルにできることを制限することによって、学習が改善される。 より一般的な学習者である標準のCoTと再帰的言語モデルを比較し,各サブタスクを分離した文脈で解くことで自分自身を制約する。 CoT は再帰的な規則を効率的にシミュレートできるので、IID の一般化は定数因子によってのみ変化することを保証し、再帰はそれほど役に立たない。 しかし、ドメイン外においては、CoTは現在のサブタスク外のコンテキストに依存することでトレーニングに適合する。 CoTのクラスは依然として再帰的なルールをカバーしているが、単純さのバイアスは真実に対するショートカットを選択する。 したがって、分布の正確さと真の理性を超えるためには、正しい規則をカバーするだけでは不十分であり、古典的な学習理論とは対照的である。

関連論文リスト

• Chained Recursive Language Models for Multi-Iteration Reasoning [46.765013720309064]
  Chained Recursive Language Models (Chained RLM)は、推論時のアーキテクチャである。 各ルートは元の問題とコンテキストを受信するが、完全な会話履歴を継承しない。 各段階の計算では、中間アーティファクトを検査し、修正し、同じモデルで後の新しい推論によって拡張することができる。
  論文  参考訳（メタデータ） (2026-08-05T17:50:08Z)
• Generative Recursive Reasoning [67.22973831501257]
  Generative Recursive ReAsoning Models (GRAM) は、潜在的推論を確率論的多軌道に変換するフレームワークである。 GRAMは$p_(y mid x)$で条件推論をサポートし、固定または欠落した入力では$p_(x)$で条件生成を行う。
  論文  参考訳（メタデータ） (2026-05-19T05:20:56Z)
• Recursive Multi-Agent Systems [106.82473907888497]
  本稿では,マルチエージェントフレームワークであるRecursiveMASを紹介する。 RecursiveMASは、軽量なRecursiveLinkモジュールを介して、異種エージェントを協調ループとして接続する。 実行時複雑性と学習力学の理論解析により、RecursiveMASは標準テキストベースMASよりも効率的であることが判明した。
  論文  参考訳（メタデータ） (2026-04-28T17:59:34Z)
• The Computational Boundary of Inference: Capability Internalization, Training, and the Turing Jump [0.0]
  本稿では古典計算可能性理論において形式的な分離結果を与える。 有限内部自己修正が$mathcalC(A)$内に留まることを証明し、一方安定化されたリビジョンは相対化極限補題によるジャンプ$A'$によって支配される。
  論文  参考訳（メタデータ） (2026-04-09T22:56:56Z)
• Recursive Models for Long-Horizon Reasoning [28.82044197167549]
  分離された文脈でサブタスクを解くためにモデルが自身を呼び出すことができることを示す。 フレームワークを任意のコンテキスト処理と制御フローを備えた現代的なエージェントシステムに一般化する。
  論文  参考訳（メタデータ） (2026-03-02T17:37:10Z)
• On the Out-of-Distribution Generalization of Reasoning in Multimodal LLMs for Simple Visual Planning Tasks [56.98385132295952]
  簡単な計画課題において,チェーン・オブ・ソート・アプローチがいかに一般化するかを評価する。 複数のテキスト形式を組み合わせた推論トレースが、最高の(かつ非自明な)OOD一般化をもたらすことが分かりました。 純粋にテキストベースのモデルは、画像ベースの入力を利用するモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-17T09:51:40Z)
• Transitive RL: Value Learning via Divide and Conquer [54.190627631246166]
  Transive Reinforcement Learning (TRL) は、分割・分散パラダイムに基づく新しい価値学習アルゴリズムである。 モンテカルロ法とは異なり、TRLは動的プログラミングを実行するため、高分散に苦しむ。
  論文  参考訳（メタデータ） (2025-10-26T03:32:31Z)
• Larger Language Models Don't Care How You Think: Why Chain-of-Thought Prompting Fails in Subjective Tasks [25.562937159039038]
  In-Context Learning (ICL) in Large Language Models (LLM) が自然言語処理の主流の手法として登場した。 ICLはタスク先行の検索に大きく依存しており、タスクを実行するための"学習"は少なくなっている。 驚くべきことに、CoT(Chain-of-Thought)は、大きな言語モデルではICLと同じ後方崩壊に悩まされている。
  論文  参考訳（メタデータ） (2024-09-10T03:06:17Z)
• Transformer-Based Models Are Not Yet Perfect At Learning to Emulate Structural Recursion [14.739369424331478]
  本稿では,プログラミング言語領域における構造的再帰という抽象概念を,シーケンスモデリング問題や学習モデルの振る舞いにうまく結合する汎用フレームワークを提案する。 フレームワークを強力な概念ツールとして、さまざまな設定の下で異なる問題を特定します。
  論文  参考訳（メタデータ） (2024-01-23T18:07:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。