論文の概要: KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents

• arxiv url: http://arxiv.org/abs/2610.22331v1
• Date: Thu, 15 Oct 2026 17:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.26846
• Title: KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
• Title（参考訳）: KnowGPO:検索エージェントのための知識グループポリシー最適化
• Abstract要約: アウトカムベースの強化学習は、全軌道で共有される単一の端末報酬のみを提供する。 我々は,獲得した課題関連知識によって軌道を整合させる強化学習フレームワークであるKnowGPOを提案する。 各クエリに対して、KnowGPOは、答えを原子知識条件に導出するために必要な情報を分解し、満たした条件のサブセットによって各ステップにおける軌道の状態を表す。
• 参考スコア（独自算出の注目度）: 57.03715319732378
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep search agents solve knowledge-intensive tasks through long-horizon, multi-turn interactions, where assigning credit to individual search decisions is fundamentally difficult. Outcome-based reinforcement learning provides only a single terminal reward shared across an entire trajectory. Recent process-supervision methods aim to assign credit at finer granularity, but they typically anchor credit to either surface-level trajectory states or model-internal signals, both of which become unreliable in deep search where observations are heterogeneous and retrieved contexts are long and noisy. We propose KnowGPO, a reinforcement learning framework that aligns trajectories by the task-relevant knowledge they have acquired rather than by their surface observations. For each query, KnowGPO decomposes the information required to derive the answer into atomic knowledge conditions, and represents the state of a trajectory at each step by the subset of conditions it has satisfied. Trajectories sharing the same knowledge state are grouped for within-group comparison, and the incremental knowledge gain between consecutive steps serves as an environment-grounded process reward. Experiments on Xbench, BrowseComp-ZH, and GAIA show KnowGPO consistently outperforms outcome-only (GRPO) and process-supervision baselines (GiGPO, IGPO) by 3.8 to 4.2 points, with our 8B model rivaling or exceeding most 32B open-source systems.
• Abstract（参考訳）: ディープサーチエージェントは、長期にわたる多ターンインタラクションを通じて知識集約的なタスクを解決し、個々のサーチ決定にクレジットを割り当てることは基本的に困難である。 アウトカムベースの強化学習は、全軌道で共有される単一の端末報酬のみを提供する。 最近のプロセス・スーパービジョン法は、より細かい粒度でクレジットを割り当てることを目的としているが、通常は、表面レベルの軌道状態またはモデル内部信号にクレジットを固定しており、どちらも、観測が不均一で、検索されたコンテキストが長くノイズの多い深層探索では信頼できない。 我々は,その表面観察よりも,獲得した課題関連知識によって軌道を整列させる強化学習フレームワークであるKnowGPOを提案する。 各クエリに対して、KnowGPOは、答えを原子知識条件に導出するために必要な情報を分解し、満たした条件のサブセットによって各ステップにおける軌道の状態を表す。 同じ知識状態を共有する軌道は、グループ内比較のためにグループ化され、連続的なステップ間の漸進的な知識の獲得は、環境下でのプロセス報酬として機能する。 Xbench、BrowseComp-ZH、GAIAの実験では、KnowGPOは結果のみ(GRPO)とプロセススーパービジョンベースライン(GiGPO、IGPO)を3.8～4.2ポイント上回っている。

関連論文リスト

• Glasseek: A Transparent Recipe for Training and Trustworthy Evaluation of DeepSearch Agents [48.64274374077379]
  Glasseekは完全な開発ライフサイクルにまたがる、完全な透過的なディープ検索フレームワークです。 データ構築のために,我々は,高品質な探索経路を体系的に生成する軌道キュレーションパイプラインを構築した。 トレーニングでは,探索と要約に同じポリシーを用いて,実行サブトラジェクトリのみを最適化するコンプレッション管理GSPOを提案する。
  論文  参考訳（メタデータ） (2026-10-12T15:48:45Z)
• SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation [26.8807904319691]
  模擬検索世界のバックボーンとして型付き知識グラフを用いたtextbfSearchEyes を提案する。 Wikidata5Mの視覚的知識交差点上の制約付きマルチホップパスをサンプリングするために,textbfPerception-Knowledge Chains (PKC)を提案する。 6つのマルチモーダルな知識集約型ベンチマーク実験により,SearchEyesはオープンソースのマルチモーダル検索エージェントの最先端性能を実現することが示された。
  論文  参考訳（メタデータ） (2026-07-07T07:43:04Z)
• GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
  GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。 深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。 主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
  論文  参考訳（メタデータ） (2026-02-09T11:44:15Z)
• Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents [28.145430029174577]
  大規模言語モデル(LLM)ベースのエージェントは、外部環境と対話する能力を高めるために強化学習(RL)でますます訓練されている。 既存のアプローチは通常、最終回答でのみ提供される結果に基づく報酬に依存します。 本稿では,情報ゲインに基づくポリシー最適化(IGPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:32Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• Towards Open-World Retrieval-Augmented Generation on Knowledge Graph: A Multi-Agent Collaboration Framework [21.896955284099334]
  大きな言語モデル(LLM)は、言語理解と推論において強力な能力を示している。 Retrieval-Augmented Generation (RAG)は、外部知識ソースを組み込むことによって、この制限に対処する。 AnchorRAGは,オープンワールドRAGのための,事前定義されたアンカーエンティティを持たない新しいマルチエージェント協調フレームワークである。
  論文  参考訳（メタデータ） (2025-09-01T08:26:12Z)
• On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
  本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。 当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
  論文  参考訳（メタデータ） (2023-06-08T18:07:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。