論文の概要: Is Per-Agent Policy Composition Safe? Rethinking Successor-Feature Transfer in Cooperative Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2608.11658v1
• Date: Wed, 12 Aug 2026 04:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.470826
• Title: Is Per-Agent Policy Composition Safe? Rethinking Successor-Feature Transfer in Cooperative Multi-Agent Reinforcement Learning
• Title（参考訳）: エージェントごとのポリシー構成は安全か? 協調型マルチエージェント強化学習における継承者-機能移行の再考
• Abstract要約: マルチエージェント転送は,ライブラリ内のすべてのポリシーよりも,関節動作を著しく悪化させる可能性があることを示す。 そこで本稿では,MA-USFAとMA-USFAという2つの階層からなる階層的手法を提案し,各エージェントの目的を条件付きで各エージェントの後継特徴を予測し,各エージェントが従うべきライブラリを選別し,エージェントごとの値が表現できないようなクロスエージェント補正を提供する上層作曲家を提案する。
• 参考スコア（独自算出の注目度）: 5.703301837612397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many reinforcement learning systems, from fleet management to traffic signal control, must serve an objective that changes dynamically after deployment, and retraining a policy for each new objective is prohibitively expensive. For a single agent, this problem is well understood: successor features with generalized policy improvement, together with their universal extension, recombine a library of learned policies into a policy for any new objective, with a guarantee that the result is never worse than any policy in the library. However, multi-agent transfer has received far less attention, and the common practice of letting each agent recombine its own library independently inherits the recipe but not the guarantee. We prove that this independent composition can produce joint behavior strictly worse than every policy in the library, because recombining teammates changes the environment each agent faces and invalidates the values it relies on, a failure with no single-agent counterpart. We further show that the only unconditionally safe fixed rule is synchronized composition, which moves the whole team to one jointly trained policy but cannot serve objectives that assign different goals to different agents. To attain safety and flexibility at once, we propose MA-USFA, a hierarchical method with two layers: a lower layer of universal successor feature approximators that predicts each agent's successor features while conditioned on its teammates' objectives, and an upper composer that selects, across agents, which library entry each agent should follow and supplies the cross-agent correction a per-agent value cannot represent. Trained once over the distribution of objectives, it is applied at deployment with no per-task adaptation.
• Abstract（参考訳）: 多くの強化学習システムは、艦隊管理から交通信号制御まで、配備後に動的に変化する目標に役立ち、新しい目標に対する政策の再訓練は違法に高価である。 一般的な政策改善を伴う後継機能とその普遍的な拡張は、学習された政策のライブラリを新しい目的のためにポリシーに再結合し、その結果がライブラリ内のどのポリシーよりも悪いことはないことを保証します。 しかし、マルチエージェント転送にははるかに注意が払われておらず、各エージェントが独自にライブラリを再結合させるという一般的な慣行は、レシピを継承するが保証は受けない。 この独立した構成は、各エージェントが直面している環境を変え、依存する値を無効にするため、ライブラリ内のすべてのポリシーよりも厳密な共同動作を生成できることを証明します。 さらに、無条件で安全な固定ルールはシンクロナイズド・コンポジションであり、チーム全体を1つの共同で訓練されたポリシーに移すが、異なるエージェントに異なる目標を割り当てる目的を果たせないことを示す。 安全性と柔軟性を両立させるため,MA-USFAという階層的手法を提案し,各エージェントの目的を条件付きで各エージェントの後継特徴を予測し,各エージェントが従うべきライブラリを選抜し,エージェントごとのアジェント値が表現できないような,汎用的後継特徴近似器の下位層を提案する。 目標の分布を一度トレーニングし、タスクごとの適応なしにデプロイに適用される。

関連論文リスト

• Training Small LLMs as Spatial Multi-Agent Policies [17.254137262162505]
  空間的協調ゲームでは両スレッドを取り上げ、小さな凍結LDMは低レベル動作で失敗し、報酬はゼロとなる。 我々は,各ゲームに,記号プランナーによって実行される,型付けされた,状態対応可能な,短期水平動作という,象徴的な入力のライブラリを装備する。 各エージェントのLCMはオプションに対するポリシーとして機能し、エージェントごとのLORAアダプタはマルチエージェントGRPOのエージェントごとの変種によって訓練される。
  論文  参考訳（メタデータ） (2026-08-02T18:14:40Z)
• ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning [47.96591344642519]
  マルチエージェント強化学習では、エージェントが共有リターンを最大化する必要がある。 従来の手法は主に2つのアプローチに従う: 中央集権的な批評家による独立因数分解された更新、または最高のレスポンス更新の交互化である。 共同政策グラデーションは, エージェントごとのスコア関数と分散型批評家から構成される, エージェントごとの項の正確な分散分解を許容することを示す。 この結果の中心は、エージェントが一度に一つずつ行動し、各エージェントが先行する行動に対する信念を条件付ける、同時共同決定のシリアライズされた見解である。
  論文  参考訳（メタデータ） (2026-06-29T10:04:15Z)
• AdvEvo-MARL: Shaping Internalized Safety through Adversarial Co-Evolution in Multi-Agent Reinforcement Learning [78.5751183537704]
  AdvEvo-MARLは、タスクエージェントに安全性を内部化する、共進化型マルチエージェント強化学習フレームワークである。 外部ガードに頼るのではなく、AdvEvo-MARLは攻撃者と防御者を共同で最適化する。
  論文  参考訳（メタデータ） (2025-10-02T02:06:30Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• Multi-agent Deep Covering Skill Discovery [50.812414209206054]
  本稿では,複数エージェントの結合状態空間の予測被覆時間を最小化し,マルチエージェントオプションを構築するマルチエージェントDeep Covering Option Discoveryを提案する。 また、MARLプロセスにマルチエージェントオプションを採用するための新しいフレームワークを提案する。 提案アルゴリズムは,アテンション機構とエージェントの相互作用を効果的に把握し,マルチエージェントオプションの同定に成功した。
  論文  参考訳（メタデータ） (2022-10-07T00:40:59Z)
• Trust Region Policy Optimisation in Multi-Agent Reinforcement Learning [25.027143431992755]
  信頼領域の手法により、強化学習(RL)エージェントが単調な政策改善を学ぶことができるようになり、様々なタスクにおいて優れたパフォーマンスが得られた。 残念ながら、マルチエージェント強化学習(MARL)では、単調改善の特性は単純に適用できない。 本稿では、信頼領域学習の理論をMARLに拡張し、マルチエージェント・アドバンテージ分解補題とシーケンシャルポリシー更新スキームについて述べる。 これらに基づき、異種信託地域政策最適化(HATPRO)と異種信託地域政策最適化(HATPRO)を開発する。
  論文  参考訳（メタデータ） (2021-09-23T09:44:35Z)
• Multi-agent Policy Optimization with Approximatively Synchronous Advantage Estimation [55.96893934962757]
  マルチエージェントシステムでは、異なるエージェントの警察を共同で評価する必要がある。 現在の方法では、バリュー関数やアドバンテージ関数は非同期に評価される対実関節アクションを使用する。 本研究では,近似的に同期する利点推定を提案する。
  論文  参考訳（メタデータ） (2020-12-07T07:29:19Z)
• A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning [47.154539984501895]
  本稿では,マルチエージェント学習環境に固有の非定常的ポリシーダイナミクスを考慮に入れたメタマルチエージェントポリシー勾配定理を提案する。 これは、エージェント自身の非定常ポリシーダイナミクスと、環境内の他のエージェントの非定常ポリシーダイナミクスの両方を考慮するために、勾配更新をモデル化することによって達成される。
  論文  参考訳（メタデータ） (2020-10-31T22:50:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。