論文の概要: Decentralizing Multi-Agent Reinforcement Learning with Temporal Causal Information

• arxiv url: http://arxiv.org/abs/2506.07829v1
• Date: Mon, 09 Jun 2025 14:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.146733
• Title: Decentralizing Multi-Agent Reinforcement Learning with Temporal Causal Information
• Title（参考訳）: 時間因果情報を用いたマルチエージェント強化学習の分散化
• Authors: Jan Corazza, Hadi Partovi Aria, Hyohun Kim, Daniel Neider, Zhe Xu,
• Abstract要約: 我々はエージェントに高度な記号的知識を提供することが、この設定のユニークな課題にどのように対処できるかを研究する。 特に、ローカルポリシーとチームタスクの互換性を確認するのに使用されるフォーマルなツールを拡張します。 DMARLにおける事象の時間的進化に関する記号的知識は,DMARLの学習過程を著しく向上させることができることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 10.128303239242253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) algorithms can find an optimal policy for a single agent to accomplish a particular task. However, many real-world problems require multiple agents to collaborate in order to achieve a common goal. For example, a robot executing a task in a warehouse may require the assistance of a drone to retrieve items from high shelves. In Decentralized Multi-Agent RL (DMARL), agents learn independently and then combine their policies at execution time, but often must satisfy constraints on compatibility of local policies to ensure that they can achieve the global task when combined. In this paper, we study how providing high-level symbolic knowledge to agents can help address unique challenges of this setting, such as privacy constraints, communication limitations, and performance concerns. In particular, we extend the formal tools used to check the compatibility of local policies with the team task, making decentralized training with theoretical guarantees usable in more scenarios. Furthermore, we empirically demonstrate that symbolic knowledge about the temporal evolution of events in the environment can significantly expedite the learning process in DMARL.
• Abstract（参考訳）: 強化学習(RL)アルゴリズムは、1つのエージェントが特定のタスクを達成するための最適なポリシーを見つけることができる。 しかし、現実の多くの問題は共通の目標を達成するために複数のエージェントが協力する必要がある。 例えば、倉庫でタスクを実行するロボットは、高い棚からアイテムを回収するためにドローンの支援を必要とすることがある。 Decentralized Multi-Agent RL (DMARL) では、エージェントは独立して学習し、実行時にポリシーを組み合わさる。 本稿では,プライバシ制約や通信制限,パフォーマンス上の懸念など,エージェントに高度な記号的知識を提供することによって,この設定のユニークな課題に対処する方法について検討する。 特に、チームタスクとのローカルポリシの互換性を確認するために使用されるフォーマルなツールを拡張し、より多くのシナリオで使用できる理論的な保証を備えた分散トレーニングを可能にします。 さらに,環境における事象の時間的進化に関する象徴的な知識が,DMARLの学習過程を著しく向上させることができることを実証的に実証した。

関連論文リスト

• AgentNet: Decentralized Evolutionary Coordination for LLM-based Multi-Agent Systems [22.291969093748005]
  AgentNet(エージェントネット)は、マルチエージェントシステムのための分散化された検索型生成(RAG)ベースのフレームワークである。 静的ロールや集中制御の以前のアプローチとは異なり、AgentNetはエージェントがローカルの専門知識とコンテキストに基づいて接続とタスクのルーティングを調整することができる。 実験の結果,AgentNetは単一エージェントと集中型マルチエージェントのベースラインよりも高いタスク精度を実現することがわかった。
  論文  参考訳（メタデータ） (2025-04-01T09:45:25Z)
• Active Multi-task Policy Fine-tuning [54.65568433408307]
  AMF(Active Multi-task Fine-tuning)を提案する。 我々は,AMFの性能保証を規則性仮定で導き,複雑・高次元環境における実験的有効性を示す。
  論文  参考訳（メタデータ） (2024-10-07T13:26:36Z)
• Variational Offline Multi-agent Skill Discovery [47.924414207796005]
  本稿では,サブグループレベルの抽象化と時間レベルの抽象化を同時に取得し,マルチエージェントスキルを形成するための2つの新しい自動エンコーダ方式を提案する。 提案手法はオフラインのマルチタスクデータに適用可能であり,検出したサブグループスキルは再学習することなく,関連するタスク間で伝達可能である。 StarCraftタスクに対する実証的な評価は、既存の階層型マルチエージェント強化学習(MARL)法よりもはるかに優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-26T00:24:46Z)
• RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
  本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。 遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。 この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
  論文  参考訳（メタデータ） (2024-02-29T16:07:22Z)
• Learning Complex Teamwork Tasks Using a Given Sub-task Decomposition [11.998708550268978]
  本稿では,タスクをよりシンプルなマルチエージェントサブタスクに分解する手法を提案する。 各サブタスクでは、チーム全体のサブセットが、サブタスク固有のポリシを取得するようにトレーニングされる。 サブチームはマージされ、ターゲットタスクに転送される。そこでは、そのポリシーは、より複雑なターゲットタスクを解決するために、まとめて微調整される。
  論文  参考訳（メタデータ） (2023-02-09T21:24:56Z)
• Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation [13.670618752160594]
  深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。 従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。 効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-25T19:09:29Z)
• Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks [82.02891936174221]
  複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。 本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:24:47Z)
• Continuous Coordination As a Realistic Scenario for Lifelong Learning [6.044372319762058]
  ゼロショット設定と少数ショット設定の両方をサポートするマルチエージェント生涯学習テストベッドを導入する。 最近のMARL法、および制限メモリおよび計算における最新のLLLアルゴリズムのベンチマークを評価します。 我々は経験的に、我々の設定で訓練されたエージェントは、以前の作業による追加の仮定なしに、未発見のエージェントとうまく協調できることを示します。
  論文  参考訳（メタデータ） (2021-03-04T18:44:03Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• Reward Machines for Cooperative Multi-Agent Reinforcement Learning [30.84689303706561]
  協調型マルチエージェント強化学習において、エージェントの集合は共通の目標を達成するために共有環境で対話することを学ぶ。 本稿では、報酬関数の構造化表現として使われる単純な機械である報酬機械(RM)を用いて、チームのタスクを符号化する手法を提案する。 マルチエージェント設定におけるRMの新たな解釈は、要求されるチームメイト相互依存性を明示的に符号化し、チームレベルのタスクを個々のエージェントのサブタスクに分解することを可能にする。
  論文  参考訳（メタデータ） (2020-07-03T23:08:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。