論文の概要: Learning Independently from Causality in Multi-Agent Environments
- arxiv url: http://arxiv.org/abs/2311.02741v1
- Date: Sun, 5 Nov 2023 19:12:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 16:00:55.681011
- Title: Learning Independently from Causality in Multi-Agent Environments
- Title（参考訳）: マルチエージェント環境における因果関係から独立して学ぶ
- Authors: Rafael Pina, Varuna De Silva and Corentin Artaud
- Abstract要約: MARL(Multi-Agent Reinforcement Learning)は、機械学習分野への関心が高まっている分野である。
遅延エージェントの病理はMARLで有名な問題であり、MARLチームのエージェントが共通の目標に寄与していない場合にイベントを表す。
エージェントは協調戦略を学習し、個々の観察とチームの報酬との間に因果関係があることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-Agent Reinforcement Learning (MARL) comprises an area of growing
interest in the field of machine learning. Despite notable advances, there are
still problems that require investigation. The lazy agent pathology is a famous
problem in MARL that denotes the event when some of the agents in a MARL team
do not contribute to the common goal, letting the teammates do all the work. In
this work, we aim to investigate this problem from a causality-based
perspective. We intend to create the bridge between the fields of MARL and
causality and argue about the usefulness of this link. We study a fully
decentralised MARL setup where agents need to learn cooperation strategies and
show that there is a causal relation between individual observations and the
team reward. The experiments carried show how this relation can be used to
improve independent agents in MARL, resulting not only on better performances
as a team but also on the rise of more intelligent behaviours on individual
agents.
- Abstract（参考訳）: マルチエージェント強化学習(MARL)は、機械学習分野への関心が高まっている分野である。
目立った進歩にもかかわらず、調査を必要とする問題がまだ残っている。
遅延エージェントの病理学(lazy agent pathology)は、marlチームのエージェントの一部が共通の目標に寄与せず、チームメイトがすべての仕事をさせるイベントを表す、marlの有名な問題である。
本研究は,因果関係の観点からこの問題を考察することを目的とする。
我々は、MARLの分野と因果関係の橋渡しを行い、このリンクの有用性について議論する。
エージェントが協力戦略を学習し、個々の観察とチーム報酬の間に因果関係があることを示す、完全に分散したmarl設定について検討した。
実験は、この関係がmarlの独立したエージェントを改善するのにどのように役立つかを示し、結果としてチームとしてのパフォーマンス向上だけでなく、個々のエージェントに対するよりインテリジェントな行動の高まりにつながった。
関連論文リスト
- A Survey on the Memory Mechanism of Large Language Model based Agents [66.4963345269611]
大規模言語モデル(LLM)に基づくエージェントは、最近、研究や産業コミュニティから多くの注目を集めている。
LLMベースのエージェントは、現実の問題を解決する基礎となる自己進化能力に特徴付けられる。
エージェント-環境相互作用をサポートする重要なコンポーネントは、エージェントのメモリである。
論文 参考訳（メタデータ） (2024-04-21T01:49:46Z) - Fully Independent Communication in Multi-Agent Reinforcement Learning [4.470370168359807]
MARL(Multi-Agent Reinforcement Learning)は、マルチエージェントシステム分野における幅広い研究領域である。
パラメータを共有しないMARLの独立学習者がいかにコミュニケーションできるかを検討する。
この結果から, 独立エージェントは, 課題にも拘わらず, コミュニケーション戦略を学習できることが示唆された。
論文 参考訳（メタデータ） (2024-01-26T18:42:01Z) - Discovering Causality for Efficient Cooperation in Multi-Agent
Environments [0.0]
協調的マルチエージェント強化学習(MARL)エージェントでは、共通の目標を達成するためにチームとして行動を学ぶ必要がある。
タスクを学習している間、一部のエージェントは、チームの目的に寄与しない、最適なサブポリシーを学ぶことになるかもしれない。
このようなエージェントは、非協力的な振る舞いのために遅延剤と呼ばれ、それらが報酬の原因であるかどうかを理解できないことから生じる可能性がある。
論文 参考訳（メタデータ） (2023-06-20T18:56:25Z) - Causality Detection for Efficient Multi-Agent Reinforcement Learning [0.0]
遅延エージェントをペナライズし,その振る舞いを改善するために因果関係をどのように利用できるかを示す。
マルチエージェント強化学習における因果推定は,チームの全体的パフォーマンスだけでなく,各エージェントの個々の能力も向上することを示す。
論文 参考訳（メタデータ） (2023-03-24T18:47:44Z) - Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。
これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。
提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
論文 参考訳（メタデータ） (2023-03-24T15:12:28Z) - On the Use and Misuse of Absorbing States in Multi-agent Reinforcement
Learning [55.95253619768565]
現在のMARLアルゴリズムは、実験を通してグループ内のエージェントの数が固定されていると仮定している。
多くの実践的な問題において、エージェントはチームメイトの前に終了する可能性がある。
本稿では,吸収状態を持つ完全連結層ではなく,注意を用いた既存の最先端MARLアルゴリズムのアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-11-10T23:45:08Z) - LINDA: Multi-Agent Local Information Decomposition for Awareness of
Teammates [33.28389165779892]
協調型マルチエージェント強化学習(MARL)では、エージェントは部分的な観察のみにアクセスできるため、局所的な情報を効率的に活用することが重要である。
エージェントがローカル情報を分解し,各チームメイトに対して意識を構築することを学習する,チームメイト意識のための新しいフレームワークLINDAを提案する。
論文 参考訳（メタデータ） (2021-09-26T06:46:51Z) - Joint Attention for Multi-Agent Coordination and Social Learning [108.31232213078597]
共同注意がマルチエージェント協調とソーシャルラーニングを改善するメカニズムとして有用であることを示す。
共同の注意は、複数の環境にまたがる競争集中型批評家のベースラインよりも高いパフォーマンスをもたらす。
これらの結果から,共同注意は多エージェント学習に有用な帰納的バイアスである可能性が示唆された。
論文 参考訳（メタデータ） (2021-04-15T20:14:19Z) - UneVEn: Universal Value Exploration for Multi-Agent Reinforcement
Learning [53.73686229912562]
我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。
UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。
一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
論文 参考訳（メタデータ） (2020-10-06T19:08:47Z) - Learning to Incentivize Other Learning Agents [73.03133692589532]
我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。
このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。
私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
論文 参考訳（メタデータ） (2020-06-10T20:12:38Z) - On Solving Cooperative MARL Problems with a Few Good Experiences [8.596915685049511]
協調型マルチエージェント強化学習(MARL)は,協調型分散型意思決定学習において重要である。
捜索と救助、ドローンの監視、荷物の配達、消防戦といった多くの領域において、重要な課題は、いくつかの良い経験から学ぶことだ。
非定常性と疎結合な良好な経験を同時に扱える新しい架空の自己模倣手法を提供する。
論文 参考訳（メタデータ） (2020-01-22T12:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。