論文の概要: HyperMARL: Adaptive Hypernetworks for Multi-Agent RL

• arxiv url: http://arxiv.org/abs/2412.04233v3
• Date: Thu, 22 May 2025 15:28:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 14:49:21.126125
• Title: HyperMARL: Adaptive Hypernetworks for Multi-Agent RL
• Title（参考訳）: HyperMARL: マルチエージェントRLのための適応型ハイパーネット
• Authors: Kale-ab Abebe Tessera, Arrasy Rahman, Amos Storkey, Stefano V. Albrecht,
• Abstract要約: HyperMARLは、動的エージェント固有のパラメータにハイパーネットを使用するPSアプローチである。 政策勾配のばらつきを低減し、共有政治適応を促進し、エージェント間の干渉を軽減する。 これらの結果から,HyperMARLは適応的MARLの汎用的アプローチとして確立された。
• 参考スコア（独自算出の注目度）: 9.154125291830058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adaptability to specialised or homogeneous behaviours is critical in cooperative multi-agent reinforcement learning (MARL). Parameter sharing (PS) techniques, common for efficient adaptation, often limit behavioural diversity due to cross-agent gradient interference, which we show can be exacerbated by the coupling of observations and agent IDs. Current remedies typically add complexity through altered objectives, manual preset diversity levels, or sequential updates. We ask: can shared policies adapt without these complexities? We propose HyperMARL, a PS approach using hypernetworks for dynamic agent-specific parameters, without altering the RL objective or requiring preset diversity levels. HyperMARL's explicit decoupling of observation- and agent-conditioned gradients empirically reduces policy gradient variance, facilitates shared-policy adaptation (including specialisation), and helps mitigate cross-agent interference. Across diverse MARL benchmarks (up to 20 agents), requiring homogeneous, heterogeneous, or mixed behaviours, HyperMARL achieves competitive performance against key baselines -- fully shared, non-parameter sharing, and three diversity-promoting methods -- while preserving behavioural diversity comparable to non-parameter sharing. These findings establish HyperMARL as a versatile approach for adaptive MARL. The code is publicly available at https://github.com/KaleabTessera/HyperMARL.
• Abstract（参考訳）: 協調型マルチエージェント強化学習(MARL)では, 特殊行動や均質行動への適応性が重要である。 パラメータ共有(PS)技術は, 効率的に適応するためによく用いられる手法であり, エージェントIDと観測器IDの結合によってさらに悪化することを示す。 現在の改善は通常、変更対象、手動の事前設定された多様性レベル、シーケンシャルな更新を通じて複雑さを増す。 このような複雑さなしに、共有ポリシは適応できるのでしょうか? 動的エージェント固有パラメータに対するハイパーネットを用いたPS手法であるHyperMARLを提案する。 HyperMARLの観察とエージェント条件の勾配の明示的な分離は、政策勾配の分散を経験的に減少させ、共有政治適応を促進する(特殊化を含む)とともに、エージェント間の干渉を軽減する。 さまざまなMARLベンチマーク(最大20エージェント)、均一性、異質性、あるいは混合な振る舞いを必要とするHyperMARLは、主要なベースライン -- 完全に共有され、非パラメータ共有と3つの多様性促進メソッド -- に対して競合的なパフォーマンスを実現し、非パラメータ共有に匹敵する振る舞いの多様性を保っている。 これらの結果から,HyperMARLは適応的MARLの汎用的アプローチとして確立された。 コードはhttps://github.com/KaleabTessera/HyperMARLで公開されている。

関連論文リスト

• Heterogeneous Multi-Agent Reinforcement Learning for Distributed Channel Access in WLANs [47.600901884970845]
  本稿では,マルチエージェント強化学習(MARL)を用いて,無線ローカルネットワークにおける分散チャネルアクセスに対処する。 特に、エージェントがモデルトレーニングに価値ベースまたはポリシーベースの強化学習アルゴリズムを不均一に採用する、より実践的なケースについて考察する。 我々は、分散実行パラダイムを用いた集中型トレーニングを採用し、異種エージェントの協調を可能にする、異種MARLトレーニングフレームワークQPMIXを提案する。
  論文  参考訳（メタデータ） (2024-12-18T13:50:31Z)
• SMoA: Improving Multi-agent Large Language Models with Sparse Mixture-of-Agents [14.08299391695986]
  マルチエージェントLLMの効率と多様性を向上させるために,スパース混合エージェント(SMoA)フレームワークを提案する。 SMoAは、個々のLSMエージェント間で情報の流れを分散させる新しい応答選択と早期停止機構を導入している。 推論、アライメント、公平性ベンチマークの実験は、SMoAが従来の混合エージェントアプローチに匹敵するパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2024-11-05T17:33:39Z)
• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• Kaleidoscope: Learnable Masks for Heterogeneous Multi-agent Reinforcement Learning [14.01772209044574]
  本稿では,新しい適応型部分パラメータ共有方式であるEmphKaleidoscopeを紹介する。 パラメータ共有の効率を犠牲にすることなく、これらのマスク間の相違を促進することで、ポリシーネットワーク間の多様性を促進する。 我々はKaleidoscopeを拡張してアクター批判アルゴリズムの文脈におけるアンサンブルを批判する。
  論文  参考訳（メタデータ） (2024-10-11T05:22:54Z)
• MoME: Mixture of Multimodal Experts for Cancer Survival Prediction [46.520971457396726]
  生存分析は、難しい課題として、全体スライド画像(WSI)とゲノムデータを総合的な意思決定のために統合する必要がある。 従来の手法ではコアテンション(co-attention)方式が用いられており、この手法は両方のモダリティから特徴を分離した後にのみ融合する。 符号化と融合を同時に行うBiased Progressive Clever(BPE)パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T03:44:33Z)
• HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [72.25707314772254]
  本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
  論文  参考訳（メタデータ） (2024-05-28T11:41:41Z)
• Controlling Behavioral Diversity in Multi-Agent Reinforcement Learning [8.905920197601173]
  本研究では,ある指標の正確な値に対する多様性を制御できるダイバーシティ制御(DiCo)を導入する。 マルチエージェント強化学習における性能向上とサンプル効率向上のための新しいパラダイムとしてDiCoを用いる方法を示す。
  論文  参考訳（メタデータ） (2024-05-23T21:03:33Z)
• Heterogeneous Multi-Agent Reinforcement Learning for Zero-Shot Scalable Collaboration [5.326588461041464]
  マルチエージェント強化学習(MARL)は、自動運転車ネットワークのような分野を変革している。 異なるロールに対するMARL戦略は、スケールに応じて柔軟に更新することができる。 我々は、スケーラブルで不均一なポリシー最適化(SHPPO)という新しいMARLフレームワークを提案する。 SHPPOは、Starcraft Multi-Agent Challenge (SMAC)やGoogle Research Football (GRF)のような古典的なMARL環境において優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-04-05T03:02:57Z)
• Adaptive parameter sharing for multi-agent reinforcement learning [15.716649118116514]
  生物学における脳に関する研究から着想を得た新しいパラメータ共有手法を提案する。 エージェントのタイプを、そのアイデンティティに基づいて、共有ネットワーク内の異なるリージョンにマッピングする。 本手法は,訓練パラメータを付加することなく,異なるエージェント間の戦略の多様性を向上させることができる。
  論文  参考訳（メタデータ） (2023-12-14T15:00:32Z)
• Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
  ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。 教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。 本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-06T00:20:19Z)
• Parameter Sharing with Network Pruning for Scalable Multi-Agent Deep Reinforcement Learning [20.35644044703191]
  本稿では,ニューラルネットワークに構造化プルーニングを適用して,新たなパラメータを導入することなく,共同政策の表現能力を高める方法を提案する。 提案手法をいくつかのベンチマークタスクで評価し,提案手法が他のパラメータ共有手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-02T02:17:14Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)
• Consistency and Diversity induced Human Motion Segmentation [231.36289425663702]
  本稿では,CDMS(Consistency and Diversity induced Human Motion)アルゴリズムを提案する。 我々のモデルは、ソースとターゲットデータを異なる多層特徴空間に分解する。 ソースとターゲットデータ間の領域ギャップを低減するために、マルチミューチュアル学習戦略を実行する。
  論文  参考訳（メタデータ） (2022-02-10T06:23:56Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。