Fugu-MT 論文翻訳(概要): UnifiedPlayers: Enhance Tool-Integrated Reasoning in Agentic Reinforcement Learning

論文の概要: UnifiedPlayers: Enhance Tool-Integrated Reasoning in Agentic Reinforcement Learning

arxiv url: http://arxiv.org/abs/2609.20089v1
Date: Thu, 17 Sep 2026 11:49:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-20 08:55:54.24984
Title: UnifiedPlayers: Enhance Tool-Integrated Reasoning in Agentic Reinforcement Learning
Title（参考訳）: UnifiedPlayers: エージェント強化学習におけるツール強化推論
Abstract要約: 自己進化的手法は、ツール使用エージェントが独自のトレーニングデータを生成することによって、人間に注釈をつけた軌道の必要性を減らす。計画、実行、評価を共同で適応させることは、有望な代替手段を提供するが、基本的な調整課題を導入する。この課題に対処するために、textbfUnifiedPlayers、タスクを生成するPlanning Player、Pythonツールコールでマルチターントラジェクトリを生成するExecution Player、実行可能なバリデーションを構築するAudiment Playerという協調的なフレームワークを使います。
参考スコア（独自算出の注目度）: 10.82443398666203
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-evolving methods reduce the need for human-annotated trajectories by allowing tool-using agents to generate their own training data. Yet existing methods typically separate trajectory generation from evaluation, relying on static verifiers that cannot adapt to emerging failure modes or self-consistency signals that may reinforce errors shared across trajectories. Jointly adapting planning, execution, and evaluation offers a promising alternative, but introduces a fundamental coordination challenge: each component continuously changes the data or feedback used to train the others. We address this challenge with \textbf{UnifiedPlayers}, a cooperative framework comprising a Planning Player that generates tasks, an Execution Player that produces multi-turn trajectories with Python tool calls, and an Evaluation Player that constructs executable verifiers. We design role-specific rewards that coordinate the three players toward a shared learning objective under GRPO. Across two model backbones and twelve reasoning benchmarks, UnifiedPlayers outperforms the strongest prior baseline by at least 3.5\% on mathematical reasoning and 3.9\% on general reasoning tasks. Moreover, the learned verifier achieves 84.2\% adversarial detection accuracy, while its reward signal exhibits 2.03$\times$ higher per-question variance than a self-consistency baseline, providing more discriminative verifications. These results highlight cooperation among specialized players as a promising path toward self-enhanced tool-integrated agents.
Abstract（参考訳）: 自己進化的手法は、ツール使用エージェントが独自のトレーニングデータを生成することによって、人間に注釈をつけた軌道の必要性を減らす。しかし、既存の手法は一般的に評価からトラジェクトリ生成を分離し、出現する障害モードに適応できない静的検証や、トラジェクトリ間で共有されるエラーを補強する自己整合性信号に依存する。計画、実行、評価を共同で適応させることは、有望な代替手段を提供するが、基本的な調整課題を導入する: 各コンポーネントは、他のコンポーネントをトレーニングするために使用されるデータやフィードバックを継続的に変更する。この課題には,タスクを生成するPlanning Playerと,Pythonツールコールによるマルチターントラジェクトリを生成するExecution Playerと,実行可能なバリデーションを構築するAudiment Playerで構成される協調フレームワークである‘textbf{UnifiedPlayers}で対処する。我々は,GRPOの下での共有学習目標に向けて3人のプレイヤーを協調させる役割特異的報酬を設計する。 2つのモデルバックボーンと12の推論ベンチマークで、UnifiedPlayersは数学的な推論では3.5倍、一般的な推論では3.9倍という最強のベースラインを上回っている。さらに、学習された検証器は、84.2\%の逆検出精度を達成し、その報奨信号は、自己整合性ベースラインよりも2.03$\times$高い問合せ分散を示し、より識別的な検証を提供する。これらの結果は、自己強化ツール統合エージェントへの有望な道筋として、専門選手間の協力を強調した。

関連論文リスト

HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2026-09-01T07:31:18Z)
PRIMAL3: Pathfinding via Reinforcement and Imitation Multi-Agent Learning - Leveraging LaCAM3 [19.66694371656982]
PRIMAL3はマルチエージェントパスフィンディング(MAPF)のための超大規模フレームワーク強化学習、トポロジ対応通信、LaCAM3誘導訓練、PIBTベースの行動改善を統合している。実験により、PRIMAL3は最先端の学習ベースラインを大幅に上回っていることが示された。
論文参考訳（メタデータ） (2026-08-05T14:33:59Z)
OSDTW: Optimal Shared Depth and Task Weighting for Long-Tailed Recognition [12.869661291857843]
長い尾の認識は、絶え間なく頭尾のトレードオフに悩まされる。本稿では,従来の単一ラベル認識問題をヘッドタスクとテールタスクに分割する,基本的タスク分割フレームワークを提案する。結果のKullback-Leibler分散に基づく一般化誤差は、加法定数までのタスクワイズ項の和として記述できることを示す。
論文参考訳（メタデータ） (2026-05-24T09:48:02Z)
Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-02-03T15:32:09Z)
UserRL: Training Interactive User-Centric Agent via Reinforcement Learning [104.63494870852894]
強化学習(Reinforcement Learning, RL)は、動的多ターン相互作用に関わるエージェントモデルのトレーニングにおいて有望であることを示す。我々は,標準化された体育環境を通じて,ユーザ中心の能力のトレーニングと評価を行う統一的なフレームワークであるUserRLを提案する。
論文参考訳（メタデータ） (2025-09-24T03:33:20Z)
CoDiEmb: A Collaborative yet Distinct Framework for Unified Representation Learning in Information Retrieval and Semantic Textual Similarity [20.349897901019574]
統合されたテキスト埋め込みをトレーニングするための統合フレームワークであるCoDiEmbを紹介する。 CoDiEmbは、効果的な共同最適化のための3つの重要なイノベーションを統合している。我々の結果と分析は、このフレームワークがクロスタスクトレードオフを緩和していることを示している。
論文参考訳（メタデータ） (2025-08-15T12:46:35Z)
Can Large Reasoning Models Self-Train? [51.0277533541394]
多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
論文参考訳（メタデータ） (2025-05-27T17:16:00Z)
Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
半正直な設定で一貫したバックドア検出フレームワークを提案する。本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
論文参考訳（メタデータ） (2025-03-21T06:12:06Z)
Outlier Robust Adversarial Training [57.06824365801612]
本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
論文参考訳（メタデータ） (2023-09-10T21:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。