論文の概要: MetaResearcher: Scaling Deep Research via Self-Reflective Reinforcement Learning in Adversarial Virtual Environments

• arxiv url: http://arxiv.org/abs/2606.19893v1
• Date: Thu, 18 Jun 2026 07:50:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.711033
• Title: MetaResearcher: Scaling Deep Research via Self-Reflective Reinforcement Learning in Adversarial Virtual Environments
• Title（参考訳）: MetaResearcher: 仮想環境における自己回帰強化学習による深層研究のスケーリング
• Authors: Wei Yu, Suxing Liu, Minjie Yu, Jiahao Wang, Zhijian Zheng, Haocheng Deng, Bing Li,
• Abstract要約: 本研究では,4つの相乗的次元にまたがるディープリサーチエージェントトレーニングをスケールする新しいフレームワークを提案する。 まず,時間的ダイナミクスと逆方向の誤報を学習環境に注入するEvolving Virtual Worldを導入する。 第2に、単純な事実検索を超越した発見指向タスクを設計し、真の研究行動に向けてエージェントをプッシュする。 第3に,回答の正しさ,探索経路の効率,反射深度,ツールコールの多様性を共同で最適化する自己回帰メタリワード機構を提案する。
• 参考スコア（独自算出の注目度）: 15.961083103517872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep research agents have demonstrated remarkable capabilities in autonomous information gathering and synthesis, yet their training remains constrained by the static nature of simulated environments, the limits of fact-retrieval-only task designs, and the inefficiency of outcome-based reinforcement learning. In this work, we propose MetaResearcher, a novel framework that scales deep research agent training across four synergistic dimensions. First, we introduce an Evolving Virtual World that injects temporal dynamics and adversarial misinformation into the training environment, forcing agents to develop source credibility assessment and temporal conflict resolution skills. Second, we design Discovery-Oriented Tasks -- including hypothesis generation and contradiction resolution -- that transcend simple fact retrieval and push agents toward genuine research behaviors. Third, we propose a Self-Reflective Meta-Reward mechanism within the GRPO framework that jointly optimizes for answer correctness, search path efficiency, reflection depth, and tool call diversity, directly addressing the repetitive action loop problem observed in prior work. Fourth, we introduce a Heterogeneous Multi-Agent Swarm architecture comprising specialized Scout, Filter, and Synthesizer models that learn collaborative research strategies through coordinated reinforcement learning. Built upon the LiteResearcher infrastructure, MetaResearcher requires zero marginal API cost for training while targeting substantial improvements in both benchmark performance (GAIA, Xbench-DS) and epistemic robustness under adversarial conditions. We present the complete framework design, training methodology, and planned experimental validation.
• Abstract（参考訳）: ディープリサーチエージェントは、自律的な情報収集と合成において顕著な能力を示してきたが、その訓練は、シミュレーションされた環境の静的な性質、事実検索のみのタスクデザインの限界、結果に基づく強化学習の非効率性によって制約されている。 本研究では,4つの相乗的次元にまたがるディープリサーチエージェントトレーニングをスケールする新しいフレームワークであるMetaResearcherを提案する。 まず,学習環境に時間的ダイナミクスや敵対的誤報を注入し,エージェントにソース信頼性評価と時間的コンフリクト解決スキルの開発を強制するEvolving Virtual Worldを導入する。 第2に、仮説生成や矛盾解決を含むディスカバリ指向タスクを設計し、単純な事実検索と真の研究行動へのプッシュエージェントを超越する。 第3に,GRPOフレームワーク内の自己反射型メタリワード機構を提案する。この機構は,事前の作業で観測された繰り返し動作ループ問題に直接対処し,回答の正しさ,探索経路の効率,反射深度,ツールコールの多様性を協調的に最適化する。 第4に、協調強化学習を通じて協調研究戦略を学習する特別なスカウト、フィルタ、合成器モデルからなる異種マルチエージェント群アーキテクチャを導入する。 LiteResearcherインフラストラクチャを基盤として構築されたMetaResearcherは、ベンチマークパフォーマンス(GAIA、Xbench-DS)と、敵条件下でのエピステマティックロバスト性の両方を目標にしながら、トレーニングの限界APIコストをゼロにする。 本報告では, フレームワーク設計, トレーニング手法, 計画された実験検証について述べる。

関連論文リスト

• Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
  本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。 提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。 本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-03T15:32:09Z)
• RE-Searcher: Robust Agentic Search with Goal-oriented Planning and Self-reflection [55.125987985864896]
  環境の複雑さが脆弱な探索行動をいかに引き起こすかを定量的に分析する。 本稿では,検索エージェントRE-Searcherのインスタンス化をシンプルかつ効果的に行う手法を提案する。 この目標指向計画と自己回帰の組み合わせにより、RE-Searcherは複雑な検索環境における急激な手がかりに抵抗することができる。
  論文  参考訳（メタデータ） (2025-09-30T10:25:27Z)
• WebResearcher: Unleashing unbounded reasoning capability in Long-Horizon Agents [72.28593628378991]
  WebResearcherは、マルコフ決定プロセスとしてディープリサーチを再構築する反復的なディープリサーチパラダイムである。 WebResearcherは最先端のパフォーマンスを実現し、フロンティアのプロプライエタリシステムを超えています。
  論文  参考訳（メタデータ） (2025-09-16T17:57:17Z)
• The Landscape of Agentic Reinforcement Learning for LLMs: A Survey [103.32591749156416]
  エージェント強化学習(Agentic RL)の出現は、大規模言語モデル(LLM RL)に適用された従来の強化学習からパラダイムシフトを示している。 本研究では, LLM-RLの縮退した単段階マルコフ決定過程(MDPs)と, エージェントRLを定義する部分可観測マルコフ決定過程(POMDPs)とを対比することにより, この概念シフトを定式化する。
  論文  参考訳（メタデータ） (2025-09-02T17:46:26Z)
• DeepResearcher: Scaling Deep Research via Reinforcement Learning in Real-world Environments [20.498100965239818]
  我々は、LLMベースのディープリサーチエージェントのエンドツーエンドトレーニングのための、初の総合的なフレームワークであるDeepResearcherを紹介する。 固定コーパス内にすべての必要な情報が存在すると仮定するRAGベースのアプローチとは異なり、我々の手法はオープンウェブのノイズ、非構造化、動的性質をナビゲートするエージェントを訓練する。 オープンドメインの研究タスクに関する大規模な実験は、DeepResearcherがエンジニアリングベースの素早いベースラインよりも最大28.9ポイントの大幅な改善を達成していることを示している。
  論文  参考訳（メタデータ） (2025-04-04T04:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。