論文の概要: MAS-OPD: On-Policy Distillation for Multi-agent Systems

• arxiv url: http://arxiv.org/abs/2609.34234v1
• Date: Mon, 28 Sep 2026 03:39:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 22:43:07.788513
• Title: MAS-OPD: On-Policy Distillation for Multi-agent Systems
• Title（参考訳）: MAS-OPD:マルチエージェントシステムにおけるオン・ポリシィ蒸留
• Abstract要約: そこで,MAS-OPDでは,役割アドバンテージは教師の目標条件と目標外の役割条件の違いとして,役割のアドバンテージを定義する。 両尺度においてMAS-OPDが最高スコアに達し, エージェントがより明確な役割の専門化とより効果的な協調行動を開発することにつながることを示す。
• 参考スコア（独自算出の注目度）: 27.000970911514546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent systems (MAS) split a task across specialized roles and are promising on complex tasks, yet a prevailing approach relies on inference-time orchestration alone. General-purpose APIs are costly and hard to customize, while small models with role prompts rarely develop stable role competence or reliable collaboration, so post-training a MAS jointly is central. Most attempts use reinforcement learning, whose team-level reward leaves undetermined which step of which agent brought about the outcome, while local rewards need redesigning per task. On-policy distillation (OPD) gives token-level teacher supervision on trajectories the student samples, a denser signal needing no local reward, yet is underexplored for the interdependent agents of a MAS. Two difficulties arise: building complementary specialization from a judgement of which role a behavior belongs to while preserving the knowledge all roles need, and turning cross-agent collaborative information into supervision OPD can exploit. We present MAS-OPD, where Role-Advantage Specialization defines the role advantage as the difference between the teacher signals under target and non-target role conditions, and Privileged Attribution for Coordination attributes an interaction conflict to its source and supplies it to the teacher alone as privileged information. Extensive experiments on code and mathematics benchmarks show that MAS-OPD attains the highest mean score at both student scales and leads the agents to develop clearer role specialization and more effective collaborative behavior.
• Abstract（参考訳）: マルチエージェントシステム(MAS)はタスクを特定の役割に分割し、複雑なタスクを約束するが、一般的なアプローチは推論時オーケストレーションのみに依存する。 汎用APIは高価でカスタマイズが難しいが、ロールプロンプトを持つ小さなモデルでは、安定したロール能力や信頼性の高いコラボレーションはめったにない。 ほとんどの試みは強化学習を使用し、そのチームレベルの報酬は、どのエージェントが結果をもたらすかを未決定のまま残し、一方、ローカルの報酬はタスクごとに再設計する必要がある。 オンライン蒸留(OPD)は、学生サンプルの軌跡のトークンレベルの教師に、局所的な報酬を必要としない高密度信号を与えるが、MASの相互依存エージェントに対しては過小評価されている。 行動がどの役割に属するかを判断し、すべての役割が必要とする知識を保ちながら、補完的な専門化を構築すること。 そこで,MAS-OPDでは,役割アドバンテージ・スペシャライゼーションが,教師の目標条件と目標外の役割条件の違いとして役割の優位性を定義する。 コードと数学のベンチマークに関する大規模な実験は、MAS-OPDが両方の学生の尺度で最高点に達し、エージェントがより明確な役割の専門化とより効果的な協調行動を開発するように誘導していることを示している。

関連論文リスト

• Experience as a Compass: Multi-agent RAG with Evolving Orchestration and Agent Prompts [22.323342919724492]
  HERAは階層的なフレームワークで、マルチエージェントオーケストレーションとロール固有のエージェントプロンプトを共同で進化させる。 HERAは最近のベースラインよりも平均38.69%改善している。 トポロジカル分析により、スパース探索がコンパクトで高ユーティリティなマルチエージェントネットワークを生み出す創発的な自己組織化が明らかになった。
  論文  参考訳（メタデータ） (2026-04-01T13:45:52Z)
• CORD: Generalizable Cooperation via Role Diversity [37.82009228311012]
  我々は,役割多様性,すなわち CORD を通じて一般化可能な協調を可能にする階層的MARL手法を提案する。 CORDのハイレベルコントローラは、制約付きロールエントロピーを最大化することで、ローレベルエージェントにロールを割り当てる。 この制約された目的は、合理的な役割割り当てを可能にする役割の因果的影響と、一貫性のない非冗長な役割クラスタを生み出す役割の不均一性に分解できることを示す。
  論文  参考訳（メタデータ） (2025-01-04T07:53:38Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)
• RODE: Learning Roles to Decompose Multi-Agent Tasks [69.56458960841165]
  ロールベースの学習は、ロールを使って複雑なタスクを分解することで、スケーラブルなマルチエージェント学習を実現するという約束を持っている。 本稿では,まず,環境および他のエージェントに対する影響に応じて協調行動空間をクラスタリングすることで,制約された役割行動空間に分解することを提案する。 これらの進歩により、我々の手法は、挑戦的なStarCraft IIマイクロマネジメントベンチマークを構成する14シナリオのうち10シナリオにおいて、現在の最先端のMARLアルゴリズムよりも優れています。
  論文  参考訳（メタデータ） (2020-10-04T09:20:59Z)
• Reward Machines for Cooperative Multi-Agent Reinforcement Learning [30.84689303706561]
  協調型マルチエージェント強化学習において、エージェントの集合は共通の目標を達成するために共有環境で対話することを学ぶ。 本稿では、報酬関数の構造化表現として使われる単純な機械である報酬機械(RM)を用いて、チームのタスクを符号化する手法を提案する。 マルチエージェント設定におけるRMの新たな解釈は、要求されるチームメイト相互依存性を明示的に符号化し、チームレベルのタスクを個々のエージェントのサブタスクに分解することを可能にする。
  論文  参考訳（メタデータ） (2020-07-03T23:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。