Fugu-MT 論文翻訳(概要): From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents

論文の概要: From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents

arxiv url: http://arxiv.org/abs/2601.22607v1
Date: Fri, 30 Jan 2026 06:01:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-02 18:28:15.260642
Title: From Self-Evolving Synthetic Data to Verifiable-Reward RL: Post-Training Multi-turn Interactive Tool-Using Agents
Title（参考訳）: 自己進化型合成データから検証型リワードRL: 学習後のマルチターン対話型ツール利用エージェント
Authors: Jiaxuan Gao, Jiaao Chen, Chuyi He, Wei-Chen Wang, Shusheng Xu, Hanrui Wang, Di Jin, Yi Wu,
Abstract要約: EigenDataは階層的なマルチエージェントエンジンで、ツール基底の対話と実行可能なインスタンスごとのチェッカーを合成する。合成データに基づいて、まずユーザモデルを微調整し、GRPOスタイルのトレーニングを適用するRLレシピを開発する。以上の結果から,高価なアノテーションを使わずに,複雑なツールの動作をブートストラップするためのスケーラブルな経路が示唆された。
参考スコア（独自算出の注目度）: 23.583947864141162
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Interactive tool-using agents must solve real-world tasks via multi-turn interaction with both humans and external environments, requiring dialogue state tracking, multi-step tool execution, while following complex instructions. Post-training such agents is challenging because synthesis for high-quality multi-turn tool-use data is difficult to scale, and reinforcement learning (RL) could face noisy signals caused by user simulation, leading to degraded training efficiency. We propose a unified framework that combines a self-evolving data agent with verifier-based RL. Our system, EigenData, is a hierarchical multi-agent engine that synthesizes tool-grounded dialogues together with executable per-instance checkers, and improves generation reliability via closed-loop self-evolving process that updates prompts and workflow. Building on the synthetic data, we develop an RL recipe that first fine-tunes the user model and then applies GRPO-style training with trajectory-level group-relative advantages and dynamic filtering, yielding consistent improvements beyond SFT. Evaluated on tau^2-bench, our best model reaches 73.0% pass^1 on Airline and 98.3% pass^1 on Telecom, matching or exceeding frontier models. Overall, our results suggest a scalable pathway for bootstrapping complex tool-using behaviors without expensive human annotation.
Abstract（参考訳）: 対話型ツール利用エージェントは、人間と外部環境の両方とのマルチターンインタラクションを通じて現実世界のタスクを解決し、対話状態のトラッキング、複数ステップのツール実行を必要とし、複雑な命令に従う必要がある。このようなエージェントの訓練後処理は、高品質なマルチターンツールユースデータの合成が困難であり、強化学習(RL)はユーザシミュレーションによるノイズ信号に直面するため、訓練効率が低下する可能性があるため、困難である。本稿では,自己進化型データエージェントと検証器ベースのRLを組み合わせた統合フレームワークを提案する。我々のシステムであるEigenDataは階層的なマルチエージェントエンジンであり、ツール基底の対話を実行可能なインスタンスごとのチェッカーと共に合成し、プロンプトとワークフローを更新するクローズドループ自己進化プロセスを通じて生成信頼性を向上させる。合成データに基づいて、まずユーザモデルを微調整し、その後、軌跡レベルのグループ相対的優位性と動的フィルタリングによるGRPOスタイルのトレーニングを適用し、SFTを超えて一貫した改善をもたらすRLレシピを開発した。 Tau^2-benchでの評価では,エアラインでは73.0%パス^1,テレコムでは98.3%パス^1,フロンティアモデルでは98.3%パス^1に達した。以上の結果から,高価なアノテーションを使わずに,複雑なツールの動作をブートストラップする,スケーラブルな経路が示唆された。

関連論文リスト

ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas [13.919124676472022]
ASTRAは、ツール拡張言語モデルエージェントをトレーニングするためのエンドツーエンドフレームワークである。 ASTRAはスケーラブルなデータ合成と検証可能な強化学習を統合している。複数のエージェントツール使用ベンチマークの実験は、ASTRA訓練されたモデルが最先端のパフォーマンスを達成することを示した。
論文参考訳（メタデータ） (2026-01-29T11:22:23Z)
Unlocking Implicit Experience: Synthesizing Tool-Use Trajectories from Text [48.25052564552558]
本稿では,テキストコーパスから多ターンツール利用トラジェクトリの生成と抽出を可能にするデータ合成パイプラインであるGEMを紹介する。計算コストを削減するため,教師付き微調整により特別なトラジェクトリ合成器を訓練する。 GEM-32BはBFCL V3 Multi-turnベンチマークで16.5%改善した。
論文参考訳（メタデータ） (2026-01-15T12:58:46Z)
Close the Loop: Synthesizing Infinite Tool-Use Data via Multi-Agent Role-Playing [16.839489120513505]
InfToolは3つの協調エージェントを編成し、単一のターン呼び出しから複雑なマルチステップのゲートコールにまたがる多様な検証されたトラジェクトリを生成する。 InfToolは、ベース32Bモデルを19.8%から70.9%の精度(+258%)に変換し、Claude-Opusより10倍大きく、競合するClaude-Opusを上回ります。
論文参考訳（メタデータ） (2025-12-29T17:12:39Z)
ToolMind Technical Report: A Large-Scale, Reasoning-Enhanced Tool-Use Dataset [43.45582911794623]
我々は,160kの合成データインスタンスを備えた高品質なツールエージェントデータセットであるToolMindを紹介した。我々は, 高精度なターンレベルのフィルタリングを用いて, 誤りや不適切なステップを除去する。 ToolMindで微調整されたモデルは、いくつかのベンチマークでベースラインよりも大幅に改善されている。
論文参考訳（メタデータ） (2025-11-12T13:01:23Z)
Scaling Agent Learning via Experience Synthesis [100.42712232390532]
強化学習は、対話を通じて自己改善を行うことで、自律的なエージェントに力を与えることができる。しかし、コストのかかるロールアウト、タスクの多様性の制限、信頼性の低い報奨信号、インフラストラクチャの複雑さによって、その実践的採用は依然として困難である。私たちはDreamGymを紹介します。DreamGymはスケーラビリティを念頭において多様なエクスペリエンスを合成するために設計された最初の統合フレームワークです。
論文参考訳（メタデータ） (2025-11-05T18:58:48Z)
Synthesizing Agentic Data for Web Agents with Progressive Difficulty Enhancement Mechanisms [81.90219895125178]
Webベースの「ディープリサーチ」エージェントは、オンラインツールとの長時間のインタラクションを通じてタスクに答える、複雑な問題の解決を目指している。基礎となる言語モデルは、長い水平推論に最適化されないことが多いため、これらのタスクは依然として困難なままである。複雑化を徐々に進めることで、疑問-答えのペアを生成する2段階のデータ合成パイプラインを導入する。
論文参考訳（メタデータ） (2025-10-15T06:34:46Z)
Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation [65.3648667980258]
視覚言語モデル(VLM)に基づくGUIエージェントは複雑なタスクの自動化を約束するが、強化学習(RL)の適用において大きな課題に直面している。異種モジュールを高度に非結合的に協調するGUIエージェントのための非結合エージェントRLトレーニングフレームワークであるDARTを提案する。 OSWorldのベンチマークでは、DART-GUI-7Bは42.13%のタスク成功率、14.61%の絶対ゲイン、オープンソースSOTAよりも7.34%高い。
論文参考訳（メタデータ） (2025-09-28T13:19:20Z)
LAM SIMULATOR: Advancing Data Generation for Large Action Model Training via Online Exploration and Trajectory Feedback [121.78866929908871]
AIエージェントのための大規模アクションモデル(LAM)は、素晴らしいポテンシャルを提供するが、高品質なトレーニングデータを必要とするため、課題に直面している。 LAM SIMULATORは,高品質なフィードバックによるエージェントタスクのオンライン探索を目的とした総合的なフレームワークである。本フレームワークは,動的タスククエリジェネレータ,広範囲なツールコレクション,および大規模言語モデル(LLM)エージェントがツールを呼び出し,リアルタイムフィードバックを受信できる対話型環境を備えている。
論文参考訳（メタデータ） (2025-06-02T22:36:02Z)
APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay [86.01901238059261]
APIGen-MTは検証可能で多様なマルチターンエージェントデータを生成するフレームワークである。 xLAM-2-fc-r 級数で 1B から 70B のパラメータを持つモデル群を訓練する。我々のモデルは、$tau$-benchとBFCLベンチマークでGPT-4oやClaude 3.5のようなフロンティアモデルより優れている。
論文参考訳（メタデータ） (2025-04-04T17:13:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。