論文の概要: Learning Multi-Agent Orchestration:Higher-Order Interactions in Policy Improvement
- arxiv url: http://arxiv.org/abs/2611.07495v1
- Date: Thu, 05 Nov 2026 05:58:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.561523
- Title: Learning Multi-Agent Orchestration:Higher-Order Interactions in Policy Improvement
- Title（参考訳）: マルチエージェントオーケストレーションの学習:政策改善における高次インタラクション
- Abstract要約: インタラクション対応ポリシー最適化フレームワークである textbfIAPO を紹介する。
達成可能なゲインの半分を占め、サンプル軌道から両方を最適化することができることを証明します。
IAPOの展開した計画では、トークンを少なくして最強のシステムの精度に達し、コード上でのインタラクション項の削除には7～17ポイントの正確さが費やされる。
- 参考スコア（独自算出の注目度）: 16.618776352714764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learned orchestration has emerged as a promising paradigm for large language model (LLM)-based multi-agent systems, in which a central orchestrator selects agents and controls the information they receive throughout a task. Despite rapid empirical progress, existing methods train the orchestrator by crediting each decision with its own advantage, implicitly assuming that the other decisions in the episode stay fixed. This assumption fails in orchestration, where the contribution of each decision to the final outcome depends on the decisions preceding it, so the gain of a joint update is not the sum of its per-decision effects. To address this challenge, we introduce \textbf{IAPO}, an interaction-aware policy optimization framework that explicitly accounts for interactions among decisions. Specifically, IAPO exactly decomposes the performance difference between two policies into the effects of individual decisions and their interactions, which we prove can account for half of the attainable gain, and then optimizes both from sampled trajectories while certifying that every update is an improvement. On long-input versions of GSM8K, MATH, DROP, MBPP and HumanEval, against fifteen published multi-agent and workflow-search systems on the same 7B executor, IAPO's deployed plans reach the strongest system's accuracy with fewer tokens, and removing the interaction term costs 7 to 17 points of accuracy on code.
- Abstract（参考訳）: 学習されたオーケストレーションは、大きな言語モデル(LLM)ベースのマルチエージェントシステムのための有望なパラダイムとして現れ、中央オーケストレータがエージェントを選択し、タスクを通して受信した情報を制御する。
経験的進歩が急速に進んでいるにもかかわらず、既存の手法では、各決定を自分自身の優位性で信用することでオーケストラを訓練し、エピソードの他の決定が固定されていることを暗黙的に仮定する。
この仮定は、最終結果に対する各決定の貢献がその前の決定に依存するオーケストレーションでは失敗するので、共同アップデートの利得は、その決定効果の総和ではない。
この課題に対処するために,意思決定間のインタラクションを明示的に考慮したインタラクション対応のポリシー最適化フレームワークである \textbf{IAPO} を紹介した。
具体的には、IAPOは2つのポリシー間の性能差を個々の決定とその相互作用の影響に正確に分解し、達成可能な利得の半分を占めることを証明し、次にサンプル軌跡から両方を最適化し、すべての更新が改善であることを証明します。
GSM8K、MATH、DROP、MBPP、HumanEvalの長期出力バージョンでは、同一の7Bエグゼキュータ上で15のマルチエージェントおよびワークフロー検索システムに対して、IAPOのデプロイされた計画はトークンを少なくして最強のシステムの精度に達する。
関連論文リスト
- IAPO: Influence-Aware Policy Optimization for Credit Assignment in Multi-Turn Service Agents [10.577620258047665]
この研究は、マルチターンユーザインタラクションにおけるクレジット代入の理解を深める。
粗末な結果フィードバックからサービスエージェントをトレーニングするための、原則化されたアプローチを提供する。
論文 参考訳（メタデータ） (2026-08-25T14:14:36Z) - Enhancing Decision-Making with Large Language Models through Multi-Agent Fictitious Play [53.56274149236814]
Multi-Agent Fictitious Play (MAFP)は、ステークホルダーのスタンスをエージェントとして表現する新しいMASパラダイムである。
MAFPは各エージェントの判断を、他のエージェントの過去の決定の実証的な混合に応じて反復的に更新する。
我々は、行動前に競合シナリオの戦略を決定する能力をテストする挑戦的な意思決定タスクにおいて、MAFPを評価する。
論文 参考訳（メタデータ） (2026-06-17T17:31:06Z) - APPO: Agentic Procedural Policy Optimization [28.730334202611257]
エージェントRLを2つの視点から研究する:textitwhere to branchと、ブランチ後のクレジットの割り当て方法
本稿では、分岐とクレジットの割り当てを粗い相互作用単位から細かな決定点にシフトするAPPOを提案する。
APPOは、強力なエージェントRLベースラインを4ポイント近く改善し、効率的なツールコールを維持し、振る舞いの解釈可能性を維持する。
論文 参考訳（メタデータ） (2026-06-10T17:47:07Z) - AffectAgent: Collaborative Multi-Agent Reasoning for Retrieval-Augmented Multimodal Emotion Recognition [62.16431420189863]
LLMに基づくマルチモーダル感情認識は静的なパラメトリックメモリに依存しており、ニュアンス化された感情状態の解釈時にしばしば幻覚を与える。
本稿では,感情指向型マルチエージェント検索拡張生成フレームワークであるAffectAgentを紹介する。
AffectAgentは3つの共同最適化されたエージェント、すなわちクエリプランナー、エビデンスフィルタ、感情生成器から構成される。
論文 参考訳（メタデータ） (2026-04-14T13:49:19Z) - Multi-Agent Collaboration via Evolving Orchestration [55.574417128944226]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。
LLMに基づくマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し,タスク状態の進化に応じて,中央集権的なオーケストレータ("puppeteer")がエージェント("puppets")を動的に指示する。
クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2025-05-26T07:02:17Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - ACE: Cooperative Multi-agent Q-learning with Bidirectional
Action-Dependency [65.28061634546577]
マルチエージェント強化学習(MARL)は非定常性問題に悩まされる。
本稿では,双方向行動依存型Q-ラーニング(ACE)を提案する。
ACEは、Google Research FootballとStarCraft Multi-Agent Challengeで最先端のアルゴリズムを上回っている。
論文 参考訳（メタデータ） (2022-11-29T10:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。