論文の概要: SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents

• arxiv url: http://arxiv.org/abs/2509.06283v1
• Date: Mon, 08 Sep 2025 02:07:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.938183
• Title: SFR-DeepResearch: Towards Effective Reinforcement Learning for Autonomously Reasoning Single Agents
• Title（参考訳）: SFR-DeepResearch: シングルエージェントの自動推論のための効果的な強化学習を目指して
• Authors: Xuan-Phi Nguyen, Shrey Pandit, Revanth Gangi Reddy, Austin Xu, Silvio Savarese, Caiming Xiong, Shafiq Joty,
• Abstract要約: 本稿では,ディープリサーチのためのネイティブ自律単エージェントモデルの開発に焦点をあてる。 我々の最良の変種であるSFR-DR-20Bは、HumanityのLast Examベンチマークで28.7%に達する。
• 参考スコア（独自算出の注目度）: 93.26456498576181
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Equipping large language models (LLMs) with complex, interleaved reasoning and tool-use capabilities has become a key focus in agentic AI research, especially with recent advances in reasoning-oriented (``thinking'') models. Such capabilities are key to unlocking a number of important applications. One such application is Deep Research (DR), which requires extensive search and reasoning over many sources. Our work in this paper focuses on the development of native Autonomous Single-Agent models for DR featuring minimal web crawling and Python tool integration. Unlike multi-agent systems, where agents take up pre-defined roles and are told what to do at each step in a static workflow, an autonomous single-agent determines its next action dynamically based on context, without manual directive. While prior work has proposed training recipes for base or instruction-tuned LLMs, we focus on continual reinforcement learning (RL) of reasoning-optimized models to further enhance agentic skills while preserving reasoning ability. Towards this end, we propose a simple RL recipe with entirely synthetic data, which we apply to various open-source LLMs. Our best variant SFR-DR-20B achieves up to 28.7% on Humanity's Last Exam benchmark. In addition, we conduct key analysis experiments to provide more insights into our methodologies.
• Abstract（参考訳）: 大規模言語モデル(LLM)を複雑でインターリーブな推論とツール使用能力で取得することは、エージェントAI研究、特に最近の推論指向(``thinking')モデルの発展において、重要な焦点となっている。 このような機能は、多くの重要なアプリケーションをアンロックする鍵となる。 このような応用の1つはDeep Research (DR) であり、多くのソースに対して広範な探索と推論を必要とする。 本稿では,最小限のWebクローリングとPythonツールの統合を特徴とするDR用ネイティブ自律単エージェントモデルの開発に焦点をあてる。 エージェントが事前に定義された役割を担い、静的ワークフローの各ステップで何をすべきかを指示されるマルチエージェントシステムとは異なり、自律的な単一エージェントは、手動の指示なしにコンテキストに基づいて、次のアクションを動的に決定する。 従来の研究では, 基礎的, 指導的学習のためのトレーニングレシピが提案されているが, 推論を最適化したモデルの連続的強化学習(RL)に着目し, 推論能力を維持しつつ, エージェントスキルをさらに向上させる。 この目的のために, 完全合成データを用いたシンプルなRLレシピを提案し, 様々なオープンソース LLM に適用する。 我々の最良の変種であるSFR-DR-20Bは、HumanityのLast Examベンチマークで28.7%に達する。 さらに、我々の方法論についてより深い洞察を提供するために、重要な分析実験を実施します。

関連論文リスト

• The Landscape of Agentic Reinforcement Learning for LLMs: A Survey [104.31926740841128]
  エージェント強化学習(Agentic RL)の出現は、大規模言語モデル(LLM RL)に適用された従来の強化学習からパラダイムシフトを示している。 本研究では, LLM-RLの縮退した単段階マルコフ決定過程(MDPs)と, エージェントRLを定義する部分可観測マルコフ決定過程(POMDPs)とを対比することにより, この概念シフトを定式化する。
  論文  参考訳（メタデータ） (2025-09-02T17:46:26Z)
• MaskSearch: A Universal Pre-Training Framework to Enhance Agentic Search Capability [106.35604230971396]
  最近のエージェント技術の進歩により、大規模言語モデル(LLM)は、検索、計画、推論のためのツールを自律的に活用することができる。 エージェントの普遍的な検索能力を高めるために,新しい事前学習フレームワークMaskSearchを提案する。 事前学習の段階では、検索ツールを用いてマスク付きスパンを埋めるRetrieval Augmented Mask Prediction (RAMP)タスクを導入する。 その後、モデルは下流のタスクでトレーニングされ、さらなる改善が達成されます。
  論文  参考訳（メタデータ） (2025-05-26T17:58:50Z)
• Multiple Weaks Win Single Strong: Large Language Models Ensemble Weak Reinforcement Learning Agents into a Supreme One [28.264011412168347]
  モデルアンサンブルは強化学習(RL)において有効なエージェントの訓練に有用である。 LLM-Ensは,タスク固有の意味理解を用いてRLモデルのアンサンブルを強化する手法である。
  論文  参考訳（メタデータ） (2025-05-21T09:35:43Z)
• Agentic Reasoning: A Streamlined Framework for Enhancing LLM Reasoning with Agentic Tools [19.70178343422698]
  本稿では,外部ツール利用エージェントを統合することで,大規模言語モデル(LLM)推論を強化するフレームワークであるAgentic Reasoningを紹介する。 私たちのフレームワークにおける重要な革新はMind-Mapエージェントです。 DeepSeek-R1にデプロイすると、パブリックモデル間で新しいSOTA(State-of-the-art)を実現する。
  論文  参考訳（メタデータ） (2025-02-07T04:08:46Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。