論文の概要: Offline Multi-agent Reinforcement Learning via Score Decomposition

• arxiv url: http://arxiv.org/abs/2505.05968v2
• Date: Thu, 05 Jun 2025 09:41:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 19:24:15.965042
• Title: Offline Multi-agent Reinforcement Learning via Score Decomposition
• Title（参考訳）: スコア分解によるオフラインマルチエージェント強化学習
• Authors: Dan Qiao, Wenhao Li, Shanchao Yang, Hongyuan Zha, Baoxiang Wang,
• Abstract要約: オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。 この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
• 参考スコア（独自算出の注目度）: 51.23590397383217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline cooperative multi-agent reinforcement learning (MARL) faces unique challenges due to distributional shifts, particularly stemming from the high dimensionality of joint action spaces and the presence of out-of-distribution joint action selections. In this work, we highlight that a fundamental challenge in offline MARL arises from the multi-equilibrium nature of cooperative tasks, which induces a highly multimodal joint behavior policy space coupled with heterogeneous-quality behavior data. This makes it difficult for individual policy regularization to align with a consistent coordination pattern, leading to the policy distribution shift problems. To tackle this challenge, we design a sequential score function decomposition method that distills per-agent regularization signals from the joint behavior policy, which induces coordinated modality selection under decentralized execution constraints. Then we leverage a flexible diffusion-based generative model to learn these score functions from multimodal offline data, and integrate them into joint-action critics to guide policy updates toward high-reward, in-distribution regions under a shared team reward. Our approach achieves state-of-the-art performance across multiple particle environments and Multi-agent MuJoCo benchmarks consistently. To the best of our knowledge, this is the first work to explicitly address the distributional gap between offline and online MARL, paving the way for more generalizable offline policy-based MARL methods.
• Abstract（参考訳）: オフライン協調型マルチエージェント強化学習(MARL)は、特に共同行動空間の高次元性やアウト・オブ・ディストリビューションな共同行動選択の存在から生じる分布シフトによって、独特な課題に直面している。 本研究では, オフラインMARLにおける基本的な課題が協調作業のマルチ均衡性から生じることを強調し, 不均一な振る舞いデータと組み合わさった高マルチモーダルな共同行動ポリシー空間を創出する。 これにより、個別の政策規則化が一貫した調整パターンと整合することが難しくなり、政策配分のシフト問題に繋がる。 この課題に対処するため、我々は、分散実行制約下での協調モード選択を誘導する共同行動ポリシーから、エージェントごとの正規化信号を蒸留するシーケンシャルスコア関数分解法を設計する。 次に、フレキシブルな拡散に基づく生成モデルを用いて、これらのスコア関数をマルチモーダルオフラインデータから学習し、それらを共同行動評論家と統合し、チーム報酬の共有の下で、ハイリワード、インディストリビューション領域へのポリシー更新を誘導する。 提案手法は,複数粒子環境における最先端性能とマルチエージェント MuJoCo ベンチマークを連続的に達成する。 私たちの知る限りでは、これはオフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の取り組みであり、より一般化可能なオフラインポリシーベースのMARLメソッドの道を開いたものです。

関連論文リスト

• Offline Multi-Agent Reinforcement Learning via In-Sample Sequential Policy Optimization [8.877649895977479]
  オフラインマルチエージェント強化学習(英語: offline Multi-Agent Reinforcement Learning, MARL)は、事前コンパイルされたデータセットから最適なマルチエージェントポリシーを学ぶことを目的とした新興分野である。 本研究では、既存のオフラインMARLメソッドを再検討し、特定のシナリオにおいて問題となる可能性があることを示す。 In-Sample Sequential Policy Optimization (InSPO) と呼ばれる新しいオフラインMARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-10T16:19:08Z)
• FlickerFusion: Intra-trajectory Domain Generalizing Multi-Agent RL [19.236153474365747]
  既存のMARLアプローチは、トレーニングと推論の間に実体の数が一定であるという制限的な仮定に依存することが多い。 本稿では、ゼロショット・アウト・オブ・ドメイン(OOD)一般化の下での軌道内動的実体合成の課題に取り組む。 本稿では,MARLのバックボーン法に普遍的に適用可能な拡張手法として機能する新しいOOD一般化手法であるFlickerFusionを提案する。
  論文  参考訳（メタデータ） (2024-10-21T10:57:45Z)
• ComaDICE: Offline Cooperative Multi-Agent Reinforcement Learning with Stationary Distribution Shift Regularization [11.620274237352026]
  オフライン強化学習(RL)は、事前に収集されたデータセットから効果的なポリシーを学習する能力において、大きな注目を集めている。 MARLは、大きな結合状態-作用空間とマルチエージェントの振る舞いの複雑さにより、さらなる課題を提起する。 定常分布空間に正規化器を導入し、分布シフトをよりよく処理する。
  論文  参考訳（メタデータ） (2024-10-02T18:56:10Z)
• LLM4Rerank: LLM-based Auto-Reranking Framework for Recommendations [51.76373105981212]
  リグレードはレコメンデーションシステムにおいて重要な要素であり、レコメンデーションアルゴリズムの出力を精査する上で重要な役割を果たす。 そこで我々は,様々な格付け基準をシームレスに統合する包括的格付けフレームワークを提案する。 カスタマイズ可能な入力機構も統合されており、言語モデルのフォーカスを特定の再配置のニーズに合わせることができる。
  論文  参考訳（メタデータ） (2024-06-18T09:29:18Z)
• AlberDICE: Addressing Out-Of-Distribution Joint Actions in Offline Multi-Agent RL via Alternating Stationary Distribution Correction Estimation [65.4532392602682]
  オフライン強化学習(RL)の主な課題の1つは、データ収集ポリシーから逸脱した学習ポリシーから生じる分散シフトである。 これはしばしば、政策改善中のアウト・オブ・ディストリビューション(OOD)アクションを避けることで対処される。 本稿では,定常分布最適化に基づく個別エージェントの集中学習を行うオフラインMARLアルゴリズムAlberDICEを紹介する。
  論文  参考訳（メタデータ） (2023-11-03T18:56:48Z)
• A Model-Based Solution to the Offline Multi-Agent Reinforcement Learning Coordination Problem [22.385585755496116]
  既存のMARL(Multi-Agent Reinforcement Learning)手法はオンラインであり,新たなインタラクションの収集に費用がかかる,あるいは危険である実世界のアプリケーションには実用的ではない。 戦略合意(SA)と戦略細調整(SFT)の調整課題を特定し,定式化する。 MOMA-PPO (Model-based Offline Multi-Agent Proximal Policy Optimization) は,合成相互作用データを生成し,エージェントがポリシーを微調整しながら戦略に収束することを可能にするアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-26T18:43:16Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。