論文の概要: Learning to Program Retrievals: Composing Search Primitives via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.24854v1
• Date: Sat, 17 Oct 2026 20:03:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:48:40.356915
• Title: Learning to Program Retrievals: Composing Search Primitives via Reinforcement Learning
• Title（参考訳）: プログラム検索の学習:強化学習による探索原始語の構成
• Abstract要約: 検索言語モデルは、知識集約的なタスクを解決するために、多段階探索をますます利用している。 本稿では,プログラム可能な検索フレームワークであるRetrieval Program Learning (RPL)を紹介する。 RPLは、RL中にサンプリングされた準最適プログラムの局所的な変種を生成し、それらを訓練軌跡に変換し、それらをポリシーに蒸留する。
• 参考スコア（独自算出の注目度）: 48.17626966037712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented language models increasingly use multi-step search to solve knowledge-intensive tasks, yet existing systems typically expose retrieval through fixed pipelines or collections of atomic tools. We introduce Retrieval Program Learning (RPL), a programmable search framework that allows a policy to compose search primitives into executable programs with local state and control flow. This enables adaptive search that can retrieve broadly, process intermediate results, and selectively construct model context without tying retrieval breadth to context consumption. However, the resulting flexibility creates a difficult exploration problem: useful programs may require several coordinated decisions, while reinforcement learning often supplies only sparse feedback. To address this challenge, we propose program mutation, a grammar-constrained and execution-verified procedure that generates local variants of suboptimal programs sampled during RL, converts them into training trajectories, and distills them back into the policy. We evaluate RPL on open-domain question answering and corpus-level reasoning tasks, comparing it with a range of retrieval and reasoning baselines. RPL consistently improves open-domain QA performance across model sizes and in- and out-of-domain benchmarks, with particularly large gains on multi-hop tasks. Notably, a 4B model trained with RPL outperforms all 8B model baselines. On corpus-level reasoning, RPL achieves the highest answer F1 and document-coverage F1 for both model sizes while substantially reducing context consumption and retrieval turns. Our results show that programmable search expands the retrieval strategies that agents can learn, while program mutation provides an effective mechanism for exploring useful program structures beyond direct on-policy sampling.
• Abstract（参考訳）: 検索可能な言語モデルは、知識集約的なタスクを解決するために多段階探索を使用することが多いが、既存のシステムは、固定パイプラインやアトミックツールのコレクションを通じて検索を公開するのが一般的である。 本稿では,プログラム可能な検索フレームワークであるRetrieval Program Learning (RPL)を紹介する。 これにより、広範囲に検索し、中間結果を処理し、検索幅をコンテキスト消費に結び付けることなく、モデルコンテキストを選択的に構築することができる。 有用なプログラムはいくつかの協調的な決定を必要とするが、強化学習はスパースフィードバックのみを提供することが多い。 この課題に対処するために、RL中にサンプリングされた準最適プログラムの局所的な変種を生成し、それらを訓練軌跡に変換し、それらをポリシーに蒸留する文法制約および実行検証手順であるプログラム突然変異を提案する。 オープンドメイン質問応答とコーパスレベルの推論タスクにおいて、RPLを検索および推論ベースラインの範囲と比較し、RPLを評価する。 RPLは、モデルサイズとドメイン内および外部ベンチマークをまたいだオープンドメインQAパフォーマンスを一貫して改善し、特にマルチホップタスクで大きく向上している。 特に、RPLで訓練された4Bモデルは、すべての8Bモデルベースラインを上回ります。 コーパスレベルの推論では、RPLは、両方のモデルサイズに対して最も高い回答F1とドキュメントカバレッジF1を達成し、コンテキスト消費と検索ターンを大幅に削減する。 その結果、プログラム可能な検索は、エージェントが学習できる検索戦略を拡張し、プログラム突然変異は、直接のオンラインサンプリングを超えて有用なプログラム構造を探索するための効果的なメカニズムを提供することを示した。

関連論文リスト

• APEX-Searcher: Augmenting LLMs' Search Capabilities through Agentic Planning and Execution [10.643859464982071]
  APEX-Searcherは、大規模言語モデル(LLM)検索能力を増強する新しいエージェントプランニングおよび実行フレームワークである。 戦略計画の最適化のために、まずRLを分解特異的な報酬として採用する。 その後、高品質なマルチホップ軌道の教師付き微調整を適用し、ロバストな反復的なサブタスク実行能力を持つモデルに装備する。
  論文  参考訳（メタデータ） (2026-03-14T09:17:12Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts [67.67746334493302]
  大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。 提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2025-04-15T17:35:56Z)
• Oracular Programming: A Modular Foundation for Building LLM-Enabled Software [5.294604210205507]
  大規模な言語モデルは、少数の例から幅広いタスクを解くのに驚くほど効果的であることが証明されている。 信頼性とモジュラリティの欠如は、多くの推論ステップを必要とする大きな問題に対処する能力を制限する。 ドメインの専門家が未解決の選択ポイントを持つプログラムとして高レベルな問題解決戦略を表現できるように、LLM対応アプリケーションを構築するための基礎パラダイムである分子プログラミングを提案する。
  論文  参考訳（メタデータ） (2025-02-07T20:24:43Z)
• LLM Program Optimization via Retrieval Augmented Search [71.40092732256252]
  提案手法は,提案手法によって最適化されたビーム探索を行う検索アルゴリズムであるRetrieval Augmented Search (RAS) である。 我々は、RASが従来の最先端のブラックボックス適応戦略よりも1.8$times$パフォーマンスが高いことを示す。 また、トレーニング例を「アトミックな編集」に分解することで、解釈可能性を向上させるAEGISと呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2025-01-31T06:34:47Z)
• Exploring RL-based LLM Training for Formal Language Tasks with Programmed Rewards [49.7719149179179]
  本稿では,PPOを用いた強化学習(RL)の実現可能性について検討する。 我々は,生成した出力の質を自動的に評価するために,明示的な報酬関数をプログラムできるプログラミングなどの形式言語で表されるタスクに焦点をあてる。 以上の結果から,2つの形式言語タスクに対する純粋なRLベースのトレーニングは困難であり,単純な算術タスクにおいても成功は限られていることがわかった。
  論文  参考訳（メタデータ） (2024-10-22T15:59:58Z)
• Learning to Synthesize Programs as Interpretable and Generalizable Policies [25.258598215642067]
  本稿では,プログラムの合成を学習するフレームワークについて述べる。 実験の結果,提案フレームワークは,タスク解決プログラムを確実に合成するだけでなく,DRLやプログラム合成ベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-08-31T07:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。