論文の概要: SynPlanResearch-R1: Encouraging Tool Exploration for Deep Research with Synthetic Plans

• arxiv url: http://arxiv.org/abs/2603.07853v1
• Date: Mon, 09 Mar 2026 00:05:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:15.322843
• Title: SynPlanResearch-R1: Encouraging Tool Exploration for Deep Research with Synthetic Plans
• Title（参考訳）: SynPlanResearch-R1:Ecouraging Tool Exploration for Deep Research with Synthetic Plans
• Abstract要約: リサーチエージェントは、ユーザークエリに回答するツールを使用して、モデルがWebから情報を集めることができる。 エージェントは、未熟期の終了やツール使用の偏りなど、探索行動に乏しいことが多いことを観察する。 より深い探索を促進するためのツール利用軌跡を合成するフレームワークであるSynPlanResearch-R1を提案する。
• 参考スコア（独自算出の注目度）: 65.19021035010059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research Agents enable models to gather information from the web using tools to answer user queries, requiring them to dynamically interleave internal reasoning with tool use. While such capabilities can in principle be learned via reinforcement learning with verifiable rewards (RLVR), we observe that agents often exhibit poor exploration behaviors, including premature termination and biased tool usage. As a result, RLVR alone yields limited improvements. We propose SynPlanResearch-R1, a framework that synthesizes tool-use trajectories that encourage deeper exploration to shape exploration during cold-start supervised fine-tuning, providing a strong initialization for subsequent RL. Across seven multi-hop and open-web benchmarks, \framework improves performance by up to 6.0% on Qwen3-8B and 5.8% on Qwen3-4B backbones respectively compared to SOTA baselines. Further analyses of tool-use patterns and training dynamics compared to baselines shed light on the factors underlying these gains. Our code is publicly available at https://github.com/HansiZeng/syn-plan-research.
• Abstract（参考訳）: リサーチエージェントは、ユーザークエリに答えるためにツールを使用して、モデルがWebから情報を集めることができ、内部推論とツールの使用を動的にインターリーブする必要がある。 このような能力は、原則として、検証可能な報酬(RLVR)による強化学習によって学習することができるが、エージェントは早期終了や偏りのあるツールの使用など、探索行動が不十分であることが多い。 その結果、RLVRだけでは限定的な改善が得られます。 ツール利用軌跡を合成し,冷間開始制御微調整中の形状探索の深層探索を促進するフレームワークであるSynPlanResearch-R1を提案する。 7つのマルチホップベンチマークとオープンウェブベンチマークで、Shaframeworkは、SOTAベースラインと比較して、Qwen3-8Bで最大6.0%、Qwen3-4Bバックボーンで最大5.8%パフォーマンスを改善している。 ツール使用パターンとトレーニングのダイナミクスのさらなる分析は、ベースラインがこれらの利得の根底にある要因に光を当てているのと比較している。 私たちのコードはhttps://github.com/HansiZeng/syn-plan-research.comで公開されています。

関連論文リスト

• $S^3$-R1: Learning to Retrieve and Answer Step-by-Step with Synthetic Data [2.003941363902692]
  S3-R1 (Synthetic data and stabilized Search R1) は、より高密度な学習信号とデータ中心のアプローチを結合するフレームワークである。 まず、既存の文書から多様なマルチホップ質問を導き出す合成生成とパイプラインを開発する。 次に、この拡張トレーニングセットを、中間探索品質と正解度の両方を評価する報奨構造と組み合わせる。
  論文  参考訳（メタデータ） (2026-05-02T05:01:05Z)
• One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。 これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-30T06:08:27Z)
• Beneficial Reasoning Behaviors in Agentic Search and Effective Post-training to Obtain Them [23.986035712600657]
  エージェント探索における効果的な推論行動パターンを研究するための推論駆動パイプラインを提案する。 我々は,情報検証,権限評価,適応探索,エラー回復の4つの有益な推論行動を特定する。 Llama3.2-3B と Qwen3-1.7B では, RL を用いたエージェントサーチモデルを直接訓練した場合と比較して, 行動プライミングが 35% 以上の利得を示す。
  論文  参考訳（メタデータ） (2025-10-08T00:20:35Z)
• SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents [93.26456498576181]
  本稿では,ディープリサーチのためのネイティブ自律単エージェントモデルの開発に焦点をあてる。 我々の最良の変種であるSFR-DR-20Bは、HumanityのLast Examベンチマークで28.7%に達する。
  論文  参考訳（メタデータ） (2025-09-08T02:07:09Z)
• ToolRL: Reward is All Tool Learning Needs [54.16305891389931]
  大規模言語モデル(LLM)は、ツールの使用能力を得るために、しばしば監督された微調整(SFT)を行う。 近年の強化学習(RL)の進歩は、有望な推論と一般化能力を示している。 本稿では、RLパラダイムにおけるツール選択とアプリケーションタスクに対する報酬設計に関する最初の総合的研究について述べる。
  論文  参考訳（メタデータ） (2025-04-16T21:45:32Z)
• ReTool: Reinforcement Learning for Strategic Tool Use in LLMs [27.07998056454784]
  ReToolは、ツール統合学習によるロングフォーム推論を強化する。 モデルは400のトレーニングステップで67%の精度を達成する。 注目すべきは、ReTool-32Bが72.5%の精度で設定できることだ。
  論文  参考訳（メタデータ） (2025-04-15T18:10:22Z)
• iTool: Reinforced Fine-Tuning with Dynamic Deficiency Calibration for Advanced Tool Use [56.31110409360567]
  大規模な言語モデルを外部ツールで拡張することは、その機能を強化するための有望なアプローチである。 その結果, 合成データの増加に伴い, トレーニングは著しく低下することがわかった。 我々は,この制限を緩和するために,反復的に強化された微調整戦略を提案する。
  論文  参考訳（メタデータ） (2025-01-15T04:52:34Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。