論文の概要: When Does In-Context Search Help? A Sampling-Complexity Theory of Reflection-Driven Reasoning

• arxiv url: http://arxiv.org/abs/2607.06720v1
• Date: Tue, 07 Jul 2026 18:36:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.198249
• Title: When Does In-Context Search Help? A Sampling-Complexity Theory of Reflection-Driven Reasoning
• Title（参考訳）: 文脈内探索はいつ役に立つか? 反射駆動推論のサンプリング複雑性理論
• Abstract要約: 拡張推論による大規模言語モデル(LLM)のトレーニングにより、コンテキスト内検索が可能になった。 本研究では、推論トレースに対する近似推論としてモデル化することで、非コンテキスト探索の理論解析を行う。 リフレクションが早期の誤りを確実に局所化すると、非コンテキスト検索はベースモデルよりも指数関数的に改善できることを示す。
• 参考スコア（独自算出の注目度）: 9.841011897729338
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training large language models (LLMs) with extended reasoning has enabled in-context search, in which models iteratively generate, critique, and revise solution attempts. We provide a theoretical analysis of in-context search by modeling it as approximate inference over reasoning traces, where the base model defines a prior and self-reflection provides feedback for posterior updates, and study the resulting inference-time sampling complexity - the number of sequential attempts needed to achieve high success probability. We show that when reflections reliably localize early mistakes, in-context search can yield exponential improvements over the base model, solving problems with exponentially small zero-shot pass rates using only a polynomial number of sequential attempts, whereas when this property fails, conditioning on past attempts offers no asymptotic benefit over parallel sampling. We further show that these gains are robust and learnable: approximate posterior updates suffice, and cross-entropy training on search rollouts recovers the required behavior with polynomial sample complexity. Finally, we show that under a stagewise abstraction of reinforcement learning with verifiable rewards, the optimal policy extension implements the same posterior reweighting rule. We validate key qualitative predictions of the theory on real large reasoning models.
• Abstract（参考訳）: 拡張推論による大規模言語モデル(LLM)のトレーニングでは、モデルが反復的にソリューションの試行を生成、批判、修正するインコンテキスト検索が可能になった。 提案手法では,提案手法を推論トレースに対する近似推論としてモデル化し,ベースモデルで事前回帰が定義され,自己回帰が後続更新に対するフィードバックを与え,結果の推論時間サンプリングの複雑さ(高い成功確率を達成するために必要な逐次的試行回数)について検討する。 反射が早期の誤りを確実に局所化すると、文脈内探索は基本モデルよりも指数関数的に改善し、指数的に小さなゼロショットパスレートの問題を多項式数だけを用いて解決するのに対し、この特性が失敗すると、過去の試行の条件付けは並列サンプリングよりも漸近的利益をもたらすことが示される。 さらに,これらのゲインが堅牢で学習可能なことを示し,追従ロールアウトにおけるクロスエントロピートレーニングは,多項式サンプルの複雑さによって要求される振る舞いを回復させる。 最後に、検証可能な報酬を伴う強化学習の段階的な抽象化の下で、最適ポリシー拡張は後続再重み付けルールを実装していることを示す。 我々は,理論の重要な定性的な予測を実大推論モデル上で検証する。

関連論文リスト

• When LLM Meets Tree Search: A Systematic View of Inference as Search in Large Language Models [92.71325249013535]
  テスト時間スケーリング(TTS)は、推論時間計算を固定モデルに割り当てることで推論を改善する重要な方向として登場した。 この調査は、木探索に基づく推論の最近の進歩を体系化し、推論をデコードではなく、インスタンス固有の最適化と見なす。
  論文  参考訳（メタデータ） (2026-08-31T07:49:56Z)
• Learning Structured Reasoning via Tractable Trajectory Control [99.75278337895024]
  Ctrl-Rは、トラクタブルな軌道制御を通じて構造化推論を学ぶためのフレームワークである。 Ctrl-Rは,従来達成できなかった推論パターンを効果的に探索し,内部化することができることを示す。
  論文  参考訳（メタデータ） (2026-03-02T09:18:19Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Learning a Dense Reasoning Reward Model from Expert Demonstration via Inverse Reinforcement Learning [50.20267980386502]
  我々は、専門家によるデモンストレーションから直接、プロセスの監督のための密集したトークンレベルの報酬モデルを学びます。 学習された推論報酬は、2つの補完的な役割を果たす: (i)訓練中の推論ポリシーを最適化するためのステップレベルのフィードバックを提供する。
  論文  参考訳（メタデータ） (2025-10-02T09:55:26Z)
• Offline Learning and Forgetting for Reasoning with Large Language Models [28.268926613608826]
  本稿では,未完成かつ失敗に終わった推論経路を微調整することで,検索機能をモデルに直接統合する効果的な手法を提案する。 挑戦的なGame-of-24およびCountdown算術パズルの実験は、CoT生成データをオフラインの微調整のために検索生成データに置き換えることで、推論時検索ベースラインよりも約23%の成功率を向上させることを示した。 私たちの学習と忘れは、教師付き微調整と嗜好に基づく方法の両方で一貫して優れています。
  論文  参考訳（メタデータ） (2025-04-15T16:30:02Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Proof Flow: Preliminary Study on Generative Flow Network Language Model Tuning for Formal Reasoning [11.268313729426627]
  本稿では,形式的推論の領域,特にニューラル定理証明設定における概念実証について述べる。 古典的な報酬最大化強化学習とは異なり、GFlowNetsは合成対象をサンプリングするための有望なアプローチとして登場した。 我々の初期の結果は、GFlowNetが検索環境におけるモデル性能を向上させる可能性を示している。
  論文  参考訳（メタデータ） (2024-10-17T05:10:12Z)
• PRefLexOR: Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning and Agentic Thinking [0.0]
  PRefLexORは、好みの最適化と強化学習の概念を組み合わせることで、モデルを自己学習可能にする。 本研究は, 生体材料科学の応用に焦点をあて, 様々なケーススタディでその手法を実証する。
  論文  参考訳（メタデータ） (2024-10-16T08:46:26Z)
• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。