論文の概要: Capability-Aware Shared Hypernetworks for Flexible Heterogeneous Multi-Robot Coordination

• arxiv url: http://arxiv.org/abs/2501.06058v3
• Date: Wed, 05 Mar 2025 15:37:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:48:40.651895
• Title: Capability-Aware Shared Hypernetworks for Flexible Heterogeneous Multi-Robot Coordination
• Title（参考訳）: フレキシブル・ヘテロジニアス・マルチロボットコーディネートのための能力を考慮した共有ハイパーネット
• Authors: Kevin Fu, Shalin Jain, Pierce Howell, Harish Ravichandar,
• Abstract要約: 本稿では,単一アーキテクチャが各ロボットと現在の状況に動的に適応できるように,能力認識型共有ハイパーネットワークス(CASH)を提案する。 CASHは、ローカルな観察とロボットの個人的および集団的能力に基づいて、各ロボットに適応可能な共有意思決定戦略を符号化する。
• 参考スコア（独自算出の注目度）: 2.681242476043447
• License:
• Abstract: Recent advances have enabled heterogeneous multi-robot teams to learn complex and effective coordination. However, existing architectural designs that support heterogeneous teams tend to force a trade-off between expressivity and efficiency. Some attempt to encode diverse behaviors within a single shared architecture by appending the input with an ID unique to each robot or robot type. These designs improve sample and parameter efficiency but tend to limit behavioral diversity. Others use a separate policy for each robot, enabling greater diversity at the cost of efficiency and generalization. We view these two designs as ends of a spectrum and explore a middle-ground approach that enables efficient learning of diverse behaviors. Inspired by work in transfer learning and meta RL, and building upon prior work in trait-based task allocation, we propose Capability-Aware Shared Hypernetworks (CASH), a general-purpose soft weight sharing architecture that uses hypernetworks to enable a single architecture to dynamically adapt to each robot and the current context. Intuitively, CASH encodes shared decision making strategies that can be adapted to each robot based on local observations and the robots' individual and collective capabilities (e.g., speed and payload). CASH explicitly captures the impact of capabilities on collective behavior, enabling zero-shot generalization to unseen robots or team compositions. We conducted experiments across four heterogeneous coordination tasks and three learning paradigms (imitation learning, value-based, and policy-gradient RL) using SOTA multi-robot simulation (JaxMARL) and hardware (Robotarium) platforms. Across all conditions, CASH generates appropriately diverse behaviors and outperforms baseline architectures in task performance and sample efficiency during training and zero-shot generalization while utilizing 60%-80% fewer learnable parameters.
• Abstract（参考訳）: 近年の進歩により、異種多ロボットチームが複雑で効果的な調整を学べるようになった。 しかしながら、異種チームをサポートする既存のアーキテクチャ設計は、表現性と効率性のトレードオフを強要する傾向がある。 単一の共有アーキテクチャ内で多様な振る舞いをエンコードしようとする試みは、各ロボットまたはロボットタイプ固有のIDを入力に追加することで行われる。 これらの設計はサンプルとパラメータの効率を改善するが、振る舞いの多様性を制限する傾向がある。 ロボットごとに異なるポリシーを使うものもあり、効率と一般化のコストでより多様になる。 これら2つの設計をスペクトルの終端とみなし、多様な行動の効率的な学習を可能にする中核的なアプローチを探求する。 トランスファーラーニングとメタRLの作業や,特性に基づくタスクアロケーションの事前作業に触発されて,ハイパーネットワークを用いた汎用ソフトウェイト共有アーキテクチャであるCapability-Aware Shared Hypernetworks (CASH)を提案する。 直感的には、CASHは局所的な観察とロボットの個人的および集団的能力(例えば、速度とペイロード)に基づいて、各ロボットに適応可能な共有意思決定戦略を符号化する。 CASHは、集団行動に対する能力の影響を明示的に捉え、ゼロショットの一般化により、見えないロボットやチームの構成を一般化する。 我々は、SOTAマルチロボットシミュレーション(JaxMARL)とハードウェア(Robotarium)プラットフォームを用いて、4つの異種協調タスクと3つの学習パラダイム(シミュレーション学習、価値ベース、ポリシーグラディエントRL)で実験を行った。 あらゆる条件において、CASHは適切な多様な振る舞いを生成し、学習可能なパラメータを60%から80%少なくし、トレーニング中のタスク性能とサンプル効率においてベースラインアーキテクチャより優れる。

関連論文リスト

• HyperMARL: Adaptive Hypernetworks for Multi-Agent RL [10.00022425344723]
  HyperMARLは、ハイパーネットワークを使用して学習目標を変更することなく、エージェント固有のパラメータを生成するパラメータ共有アプローチである。 完全に共有され、非パラメータ共有され、多様性を促進するベースラインと一貫して競合する。 これらの知見は,多種多様な環境におけるMARLの汎用的アプローチとしてハイパーネットワークを確立した。
  論文  参考訳（メタデータ） (2024-12-05T15:09:51Z)
• Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
  分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。 動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
  論文  参考訳（メタデータ） (2024-03-11T09:21:11Z)
• Adaptive parameter sharing for multi-agent reinforcement learning [16.861543418593044]
  生物学における脳に関する研究から着想を得た新しいパラメータ共有手法を提案する。 エージェントのタイプを、そのアイデンティティに基づいて、共有ネットワーク内の異なるリージョンにマッピングする。 本手法は,訓練パラメータを付加することなく,異なるエージェント間の戦略の多様性を向上させることができる。
  論文  参考訳（メタデータ） (2023-12-14T15:00:32Z)
• AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors [93.38830440346783]
  本稿では,その構成をより高機能なシステムとして協調的に調整できるマルチエージェントフレームワークを提案する。 実験により,フレームワークが単一エージェントより優れたマルチエージェントグループを効果的に展開できることが実証された。 これらの振舞いの観点から、我々は、ポジティブなものを活用し、ネガティブなものを緩和し、マルチエージェントグループの協調可能性を改善するためのいくつかの戦略について議論する。
  論文  参考訳（メタデータ） (2023-08-21T16:47:11Z)
• CoMIX: A Multi-agent Reinforcement Learning Training Architecture for Efficient Decentralized Coordination and Independent Decision-Making [2.4555276449137042]
  ロバストコーディネートスキルにより、エージェントは共有環境で、共通の目標に向けて、そして理想的には、お互いの進歩を妨げることなく、結合的に操作することができる。 本稿では,分散エージェントのための新しいトレーニングフレームワークであるCoordinated QMIXについて述べる。
  論文  参考訳（メタデータ） (2023-08-21T13:45:44Z)
• Learning Heterogeneous Agent Cooperation via Multiagent League Training [6.801749815385998]
  本研究ではヘテロジニアス・リーグ・トレーニング(HLT)と呼ばれる汎用強化学習アルゴリズムを提案する。 HLTは、エージェントがトレーニング中に調査したポリシーのプールを追跡し、将来のポリシー最適化を促進するために異質なポリシーの集合を集めている。 協力スキルのレベルが異なるチームメイトとのコラボレーションにおいて、エージェントの振る舞いの多様性を高めるために、ハイパーネットワークが導入される。
  論文  参考訳（メタデータ） (2022-11-13T13:57:15Z)
• Multi-agent Deep Covering Skill Discovery [50.812414209206054]
  本稿では,複数エージェントの結合状態空間の予測被覆時間を最小化し,マルチエージェントオプションを構築するマルチエージェントDeep Covering Option Discoveryを提案する。 また、MARLプロセスにマルチエージェントオプションを採用するための新しいフレームワークを提案する。 提案アルゴリズムは,アテンション機構とエージェントの相互作用を効果的に把握し,マルチエージェントオプションの同定に成功した。
  論文  参考訳（メタデータ） (2022-10-07T00:40:59Z)
• Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL [107.58821842920393]
  我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。 分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2022-06-01T04:58:52Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• Celebrating Diversity in Shared Multi-Agent Reinforcement Learning [20.901606233349177]
  深層多エージェント強化学習は、複雑な協調的な課題を解決することを約束している。 本稿では,共有型マルチエージェント強化学習の最適化と表現に多様性を導入することを目的とする。 提案手法は,Google Research Footballと超硬度StarCraft IIマイクロマネジメントタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-06-04T00:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。