論文の概要: When Cooperation Must Change: Semantic Strategy Unlearning in Multi-Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2611.17917v1
- Date: Fri, 13 Nov 2026 08:57:49 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:26:16.917999
- Title: When Cooperation Must Change: Semantic Strategy Unlearning in Multi-Agent Reinforcement Learning
- Title(参考訳): 協力が変化する必要があるとき--多エージェント強化学習における意味論的戦略の学習
- Abstract要約: デプロイメント要件が変更されると、以前有用な規約が廃止されるか、安全でないものになる可能性がある。
本稿では,この問題をセマンティック・コーディネート・ストラテジー・アンラーニングとして定式化し,CARVE.CARVEを提案する。
CARVEは、それぞれ91.4%と83.3%という、平均的な慣例補完率と最悪のケースエレベーション率を減らしている。
- 参考スコア(独自算出の注目度): 23.379591575975756
- License:
- Abstract: Cooperative multi-agent reinforcement learning (MARL) supports coordinated decision-making in distributed Web services, multi-robot control, and collaborative games through learned coordination conventions. When deployment requirements change, a previously useful convention may become obsolete or unsafe. For example, revised cache-sharing permissions in Web content delivery may require caches to abandon a learned division of storage and serving roles while maintaining efficient delivery. Teams must therefore remove the specified convention while preserving useful cooperation. This is challenging because the same relational pattern can be reproduced by different agents across different histories. Runtime shielding leaves the underlying coordination preference intact and can impair task progress, while existing reinforcement unlearning and trajectory-deletion methods do not directly target role-invariant conventions. This paper formalizes this problem as semantic coordination-strategy unlearning and proposes CARVE.CARVE uses causal coordination attribution to identify influential interactions and retain-aware subspace updates to limit interference with unrelated behaviors. Counterfactual re-coordination helps agents learn productive alternatives, while adversarial auditing tests whether the target convention can still be recovered. Accepted updates are merged into decentralized actors for direct deployment. Evaluation across five cooperative MARL benchmarks shows that CARVE reduces mean nominal convention-completion and worst-case elicitation rates by 91.4\% and 83.3\%, respectively.The median utility loss is 5.9\%, and measured inference latency matches that of the original policies.
- Abstract(参考訳): 協調型マルチエージェント強化学習(MARL)は,分散Webサービスにおける協調的意思決定,マルチロボット制御,協調ゲームを支援する。
デプロイメント要件が変更されると、以前有用な規約が廃止されるか、安全でないものになる可能性がある。
例えば、Webコンテンツ配信におけるキャッシュ共有権限の改訂では、キャッシュは学習したストレージの分割を放棄し、効率的な配信を維持しながら役割を果たす必要がある。
そのため、チームは有用な協力を維持しながら、指定された規約を削除しなければなりません。
これは、同じリレーショナルパターンが異なる履歴をまたいだ異なるエージェントによって再現できるため、難しい。
実行時シールドは、基礎となる調整の好みをそのまま残し、タスクの進捗を損なう。
本稿では,この問題を意味的コーディネート・ストラテジー・アンラーニングとして定式化し,CARVEを提案する。CARVEは因果的コーディネート属性を用いて,影響力のある相互作用を識別し,無関係な行動に対する干渉を制限するために,意識的なサブスペース更新を保持する。
カウンターファクト・リコーディネートは、エージェントが生産的な代替品を学ぶのに役立ち、一方、ターゲットの規約を回復できるかどうかを敵の監査テストする。
承認された更新は、直接デプロイするために分散アクターにマージされる。
5つの共同MARLベンチマークによる評価では、CARVEは平均的な慣例補完率と最悪のエスカレーション率をそれぞれ91.4\%と83.3\%に削減し、中央のユーティリティ損失は5.9\%であり、測定された推論遅延は元のポリシーと一致している。
関連論文リスト
- Dynamic Conflict Clustering with Lightweight Learning and Strategic Repair for Distributed Constraint Satisfaction [0.0]
本研究では, コンフリクト中心分解, 構造化協調, 戦略的修復, 停滞回復のための軽量学習を組み合わせた修復型解法であるDynamic Conflict Clustering-Incomplete (DCC-Incomplete)を提案する。
分散グラフカラー化ベンチマークにおけるDCC-不完全性の徹底的な評価は、メモリ誘導再起動が37.50%から61.11%に改善したことを示している。
論文 参考訳(メタデータ) (2026-10-11T14:35:35Z) - Communication-Efficient Digital-Twin Coordination for Heterogeneous LLM Embodied Agents over Computing Power Networks [48.90302419915548]
異種大規模言語モデル(LLM)を駆使したエージェントチームは、スマートファクトリー、倉庫、サービスロボティクスに広く配備されている。
軽量ディジタルツイン(DT)上に構築したネットワーク協調フレームワーク LDT-Coord を提案する。
具体的には、各エージェントは、意図したアクションを独立して選択し、共有リソースに対するアクション決定と構造化時間制約の両方をDTサーバに通知する。
論文 参考訳(メタデータ) (2026-07-10T12:10:31Z) - Coordination Matters: Evaluation of Cooperative Multi-Agent Reinforcement Learning [1.9806597528054068]
プロセスレベルの診断でリターンを補うコーディネート・アウェア評価の視点を提案する。
制御されたコミットメント制約付き空間的タスク割り当てテストベッドSTATを用いて、この視点をインスタンス化する。
この結果から, 冗長配置の相違, 代入の多様性, タスク補完効率の相違など, 同様のリターン傾向が, 協調機構の相違を反映できることが示唆された。
論文 参考訳(メタデータ) (2026-05-07T16:50:53Z) - Improving the Efficiency of Language Agent Teams with Adaptive Task Graphs [52.26652574704317]
大規模言語モデル(LLM)はますますチームにデプロイされているが、既存のコーディネーションアプローチは2つの極端な部分を占めることが多い。
本稿では,Language Agent Teams for Task Evolution (LATTE)を紹介した。
論文 参考訳(メタデータ) (2026-05-07T14:19:17Z) - Multi-agent In-context Coordination via Decentralized Memory Retrieval [39.106914463842685]
多様なデータセットに基づいてトレーニングされた大規模なトランスフォーマーモデルは、これまで目に見えなかったタスクにおいて、印象的な数ショットのパフォーマンスを誇示している。
MARL(Multi-Agent Reinforcement Learning)では、エージェントが共通の目標に向かって調整しなければならない。
高速適応によるコーディネーション向上を目的とした新しい手法である分散メモリ検索(MAICC)によるマルチエージェントインコンテキストコーディネーションを提案する。
論文 参考訳(メタデータ) (2025-11-13T07:08:31Z) - RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in
Multi-Agent Deep Reinforcement Learning [55.55009081609396]
本稿では、アドホックな協調シナリオにおいてゼロショットの一般化を実現するRACA(Relation-Aware Credit Assignment)と呼ばれる新しい手法を提案する。
RACAは、エージェント間のトポロジ構造を符号化するために、グラフベースのエンコーダ関係を利用する。
提案手法は,StarCraftIIマイクロマネジメントベンチマークとアドホック協調シナリオのベースライン手法よりも優れている。
論文 参考訳(メタデータ) (2022-06-02T03:39:27Z) - Distributed Adaptive Learning Under Communication Constraints [54.22472738551687]
本研究では,コミュニケーション制約下での運用を目的とした適応型分散学習戦略について検討する。
我々は,ストリーミングデータの連続的な観察から,オンライン最適化問題を解決しなければならないエージェントのネットワークを考える。
論文 参考訳(メタデータ) (2021-12-03T19:23:48Z) - DSDF: An approach to handle stochastic agents in collaborative
multi-agent reinforcement learning [0.0]
ロボットの機能低下や老化によって引き起こされるエージェントの真偽が、協調の不確実性にどのように寄与するかを示す。
DSDFは不確実性に応じてエージェントの割引係数を調整し,その値を用いて個々のエージェントのユーティリティネットワークを更新する。
論文 参考訳(メタデータ) (2021-09-14T12:02:28Z) - UneVEn: Universal Value Exploration for Multi-Agent Reinforcement
Learning [53.73686229912562]
我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。
UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。
一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
論文 参考訳(メタデータ) (2020-10-06T19:08:47Z) - Deep Co-Training with Task Decomposition for Semi-Supervised Domain
Adaptation [80.55236691733506]
半教師付きドメイン適応(SSDA)は、ラベル付きソースドメインからトレーニングされたモデルを、異なるが関連するターゲットドメインに適応させることを目的としている。
本稿では,SSDAタスクを対象ドメイン内の半教師付き学習(SSL)タスクと,ドメイン間の非教師付きドメイン適応(UDA)タスクの2つのサブタスクに明示的に分解することを提案する。
論文 参考訳(メタデータ) (2020-07-24T17:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。