論文の概要: DSPO: Stable and Efficient Policy Optimization for Agentic Search and Reasoning

• arxiv url: http://arxiv.org/abs/2510.09255v2
• Date: Mon, 13 Oct 2025 03:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 13:29:55.718501
• Title: DSPO: Stable and Efficient Policy Optimization for Agentic Search and Reasoning
• Title（参考訳）: DSPO:エージェント検索と推論のための安定かつ効率的なポリシー最適化
• Authors: Chenyang Gu, Yewen Pu, Bruce Yang, Xiaofan Li, Huan Gao,
• Abstract要約: textbfDynamic-filter textbfSequence-level textbfPolicy textbfOptimization (DSPO)を導入する。 DSPOは、シーケンスレベルの最適化と動的サンプルフィルタリングによる堅牢なエージェントトレーニングのために設計された改良されたRLアルゴリズムである。 我々は、RLを通して純粋にモデルをトレーニングし、マルチターン探索と推論をインターリーブし、教師付きデモデータの必要性を回避した。
• 参考スコア（独自算出の注目度）: 10.663331399616956
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Enhancing LLMs with the ability to actively search external knowledge is crucial for complex and real-world tasks. Current approaches either rely on prompting to elicit the model's innate agent capabilities, or suffer from performance ceilings and collapse when applying RL to complex interactive tasks, leaving their true agentic potential untapped. To address this, we introduce \textbf{D}ynamic-filter \textbf{S}equence-level \textbf{P}olicy \textbf{O}ptimization (DSPO), an improved RL algorithm designed for robust agent training through sequence-level optimization and dynamic sample filtering. We train our model purely through RL to interleave multi-turn search and reasoning, obviating the need for supervised demonstration data. Across multiple QA benchmarks, our DSPO-trained 7B model improves over a comparable previous work by \textbf{34.1\%}, and even outperforms the 14B model from previous work in complex multihop QA such as HotpotQA by nearly \textbf{9\% relative}, maintaining exceptional training stability.
• Abstract（参考訳）: LLMを外部知識を積極的に探索する能力で強化することは、複雑で現実的なタスクに不可欠である。 現在のアプローチでは、モデル固有のエージェント能力を引き出すよう促すか、あるいは複雑な対話的なタスクにRLを適用する際にパフォーマンスの天井と崩壊に悩まされ、真のエージェントの可能性は失われている。 これを解決するために,シーケンスレベルの最適化と動的サンプルフィルタリングによる堅牢なエージェントトレーニングのために設計された改良されたRLアルゴリズムである,dbf{D}ynamic-filter \textbf{S}equence-level \textbf{P}olicy \textbf{O}ptimization (DSPO)を導入する。 我々は、RLを通して純粋にモデルをトレーニングし、マルチターン探索と推論をインターリーブし、教師付きデモデータの必要性を回避した。 複数のQAベンチマークにおいて、DSPOでトレーニングされた7Bモデルは、それと同等の先行研究であるtextbf{34.1\%} よりも改善され、また、HotpotQAのような複雑なマルチホップQAにおける以前の研究よりも14Bモデルよりも優れており、例外的なトレーニング安定性を維持している。

関連論文リスト

• KARL: Knowledge Agents via Reinforcement Learning [63.627906947205624]
  本稿では,強化学習による企業検索エージェントの訓練システムを提案する。 KARLBenchは、6つの異なる検索レギュレーションにまたがる多機能評価スイートである。 異種探索行動で訓練されたモデルは、どのベンチマークにも最適化されたモデルよりもかなりよく一般化されていることを示す。
  論文  参考訳（メタデータ） (2026-03-05T14:30:25Z)
• Answer First, Reason Later: Aligning Search Relevance via Mode-Balanced Reinforcement Learning [7.006180736433431]
  低レイテンシと高パフォーマンスを実現する検索関連モデルを構築することは、検索業界において長年の課題である。 我々は,新しいtextbfAnswer-First, Reason Later(AFRL)パラダイムを提案する。 このパラダイムでは、モデルが第1のトークンで決定的な関連性スコアを出力し、続いて構造化された論理的説明を行う必要がある。
  論文  参考訳（メタデータ） (2026-02-10T17:28:12Z)
• Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search [56.78490647843876]
  エージェント検索は、大規模言語モデル(LLM)が推論とツールの使用をインターリーブできるようにすることによって、複雑な情報を探すための有望なパラダイムとして登場した。 本稿では,bfM-ASKを提案する。bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK。
  論文  参考訳（メタデータ） (2026-01-08T08:13:27Z)
• Learning to Refine: An Agentic RL Approach for Iterative SPARQL Query Construction [0.18907108368038208]
  現在のメソッドでは、リアルタイム実行フィードバックに基づいてクエリを動的にデバッグするために必要なアダプティブポリシーが欠如している。 本稿では,LLMが繰り返しSPARQL構築のシーケンシャルなプロセスに対してレジリエントなポリシーを学習する,新しいエージェント・フレームワークを提案する。 結果駆動型強化学習(GRPO)によってのみ訓練されたコンパクトな3B-パラメータモデルが,このタスクの効果的なポリシを学習可能であることを示す。
  論文  参考訳（メタデータ） (2025-11-14T08:44:58Z)
• Empowering RepoQA-Agent based on Reinforcement Learning Driven by Monte-carlo Tree Search [70.63903518295785]
  モンテカルロ木探索によるエージェント強化学習フレームワークRepoSearch-R1を紹介する。 RepoSearch-R1に基づいて,リポジトリ質問応答タスク用に設計されたRepoQA-Agentを構築する。
  論文  参考訳（メタデータ） (2025-10-30T09:10:36Z)
• Beneficial Reasoning Behaviors in Agentic Search and Effective Post-training to Obtain Them [23.986035712600657]
  エージェント探索における効果的な推論行動パターンを研究するための推論駆動パイプラインを提案する。 我々は,情報検証,権限評価,適応探索,エラー回復の4つの有益な推論行動を特定する。 Llama3.2-3B と Qwen3-1.7B では, RL を用いたエージェントサーチモデルを直接訓練した場合と比較して, 行動プライミングが 35% 以上の利得を示す。
  論文  参考訳（メタデータ） (2025-10-08T00:20:35Z)
• Agentic Reinforced Policy Optimization [66.96989268893932]
  検証可能な報酬付き大規模強化学習(RLVR)は,大規模言語モデル(LLM)を単一ターン推論タスクに活用する効果を実証している。 現在のRLアルゴリズムは、モデル固有のロングホライゾン推論能力と、マルチターンツールインタラクションにおけるその習熟性のバランスが不十分である。 エージェント強化ポリシー最適化(ARPO: Agentic Reinforced Policy Optimization)は,マルチターンLDMエージェントを学習するためのエージェントRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-07-26T07:53:11Z)
• SoftPipe: A Soft-Guided Reinforcement Learning Framework for Automated Data Preparation [10.764970149373845]
  我々は,厳格な制約をソフトガイダンスのパラダイムに置き換える,新しいRLフレームワークであるSoftPipeを紹介した。 我々は、SoftPipeがパイプラインの品質を最大13.9%改善し、2.8$times$既存の方法よりも高速な収束を実現することを実証した。
  論文  参考訳（メタデータ） (2025-07-18T07:43:22Z)
• Scalable In-Context Q-Learning [68.9917436397079]
  textbfScalable textbfIn-textbfContext textbfQ-textbfLearning (textbfSICQL)を提案する。 textbfSICQLは動的プログラミングとワールドモデリングを利用して、ICRLを効率的な報酬とタスクの一般化に向けて制御する。
  論文  参考訳（メタデータ） (2025-06-02T04:21:56Z)
• MaskSearch: A Universal Pre-Training Framework to Enhance Agentic Search Capability [106.35604230971396]
  最近のエージェント技術の進歩により、大規模言語モデル(LLM)は、検索、計画、推論のためのツールを自律的に活用することができる。 エージェントの普遍的な検索能力を高めるために,新しい事前学習フレームワークMaskSearchを提案する。 事前学習の段階では、検索ツールを用いてマスク付きスパンを埋めるRetrieval Augmented Mask Prediction (RAMP)タスクを導入する。 その後、モデルは下流のタスクでトレーニングされ、さらなる改善が達成されます。
  論文  参考訳（メタデータ） (2025-05-26T17:58:50Z)
• Agent Q: Advanced Reasoning and Learning for Autonomous AI Agents [44.34340798542]
  大きな言語モデル(LLM)は、複雑な推論を必要とする自然言語タスクにおいて顕著な能力を示している。 静的データセットに対する従来の教師付き事前トレーニングは、自律的なエージェント機能を実現するには不十分である。 本稿では,モンテカルロ木探索(MCTS)を自己批判機構と組み合わせ,エージェント間相互作用を反復的に微調整するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-13T20:52:13Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。