論文の概要: CAMMARL: Conformal Action Modeling in Multi Agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2306.11128v1
- Date: Mon, 19 Jun 2023 19:03:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 16:28:49.991012
- Title: CAMMARL: Conformal Action Modeling in Multi Agent Reinforcement Learning
- Title（参考訳）: CAMMARL:マルチエージェント強化学習におけるコンフォーマルアクションモデリング
- Authors: Nikunj Gupta and Samira Ebrahimi Kahou
- Abstract要約: 本稿では,新しいマルチエージェント強化学習アルゴリズムCAMMARLを提案する。
それは、異なる状況における他のエージェントのアクションを、自信集合の形でモデル化することを含む。
次に、これらの見積もりを使ってエージェントの意思決定を知らせます。
- 参考スコア（独自算出の注目度）: 5.671689632923479
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Before taking actions in an environment with more than one intelligent agent,
an autonomous agent may benefit from reasoning about the other agents and
utilizing a notion of a guarantee or confidence about the behavior of the
system. In this article, we propose a novel multi-agent reinforcement learning
(MARL) algorithm CAMMARL, which involves modeling the actions of other agents
in different situations in the form of confident sets, i.e., sets containing
their true actions with a high probability. We then use these estimates to
inform an agent's decision-making. For estimating such sets, we use the concept
of conformal predictions, by means of which, we not only obtain an estimate of
the most probable outcome but get to quantify the operable uncertainty as well.
For instance, we can predict a set that provably covers the true predictions
with high probabilities (e.g., 95%). Through several experiments in two fully
cooperative multi-agent tasks, we show that CAMMARL elevates the capabilities
of an autonomous agent in MARL by modeling conformal prediction sets over the
behavior of other agents in the environment and utilizing such estimates to
enhance its policy learning. All developed codes can be found here:
https://github.com/Nikunj-Gupta/conformal-agent-modelling.
- Abstract（参考訳）: 複数の知的エージェントを持つ環境で行動を起こす前に、自律エージェントは、他のエージェントについて推論し、システムの振る舞いに対する保証や信頼の概念を活用することで恩恵を受けることができる。
本稿では,マルチエージェント強化学習 (marl) アルゴリズムであるcammarlを提案する。
そして、これらの見積もりを使ってエージェントの意思決定を知らせます。
そのような集合を推定するために、共形予測の概念を用い、その方法により、最も可能な結果の見積もりを得るだけでなく、操作可能な不確実性も定量化する。
例えば、確率の高い真の予測(95%など)を確実にカバーする集合を予測できる。
2つの完全協調型マルチエージェントタスクにおけるいくつかの実験を通して、CAMMARLは、環境中の他のエージェントの挙動に関する共形予測セットをモデル化し、その推定値を利用して、MARLにおける自律エージェントの能力を高めることを示した。
すべての開発コードについては、https://github.com/Nikunj-Gupta/conformal-agent-modellingを参照してください。
関連論文リスト
- Episodic Future Thinking Mechanism for Multi-agent Reinforcement Learning [2.992602379681373]
本稿では、強化学習(RL)エージェントのためのエピソード・フューチャー・シンキング(EFT)機構を導入する。
まず、異種ポリシーのアンサンブルで多様な文字をキャプチャするマルチ文字ポリシーを開発する。
キャラクタが推論されると、エージェントはターゲットエージェントの今後のアクションを予測し、将来のシナリオをシミュレートする。
論文 参考訳（メタデータ） (2024-10-22T19:12:42Z) - Contrastive learning-based agent modeling for deep reinforcement
learning [31.293496061727932]
エージェントモデリングは、マルチエージェントシステムにおけるインテリジェントマシンエージェントの適応ポリシーを設計する際に必須である。
我々は,エゴエージェントの訓練・実行時の局所的な観察のみに依存する,コントラスト学習に基づくエージェントモデリング(CLAM)手法を考案した。
CLAMは、各エピソードの冒頭から、リアルタイムに一貫した高品質なポリシー表現を生成することができる。
論文 参考訳（メタデータ） (2023-12-30T03:44:12Z) - DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement
Learning [84.22561239481901]
本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。
マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
論文 参考訳（メタデータ） (2023-12-10T06:03:57Z) - On the Complexity of Multi-Agent Decision Making: From Learning in Games
to Partial Monitoring [105.13668993076801]
マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。
本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。
マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
論文 参考訳（メタデータ） (2023-05-01T06:46:22Z) - PAC: Assisted Value Factorisation with Counterfactual Predictions in
Multi-Agent Reinforcement Learning [43.862956745961654]
多エージェント強化学習(MARL)は、値関数分解法の開発において大きな進歩をみせている。
本稿では、部分的に観測可能なMARL問題において、エージェントの動作に対する順序付けが同時に制約を課す可能性があることを示す。
最適関節動作選択の対実予測から得られる情報を活用する新しいフレームワークであるPACを提案する。
論文 参考訳（メタデータ） (2022-06-22T23:34:30Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Differential Assessment of Black-Box AI Agents [29.98710357871698]
従来知られていたモデルから逸脱したブラックボックスAIエージェントを差分評価する手法を提案する。
我々は,漂流エージェントの現在の挙動と初期モデルの知識の疎度な観察を利用して,アクティブなクエリポリシーを生成する。
経験的評価は、エージェントモデルをスクラッチから再学習するよりも、我々のアプローチの方がはるかに効率的であることを示している。
論文 参考訳（メタデータ） (2022-03-24T17:48:58Z) - Deceptive Decision-Making Under Uncertainty [25.197098169762356]
タスクを遂行しながら,外部の観察者の意図を判断できる自律エージェントの設計について検討する。
エージェントの動作をマルコフ決定プロセスとしてモデル化することにより、エージェントが複数の潜在的な目標を達成するための設定を考える。
本稿では,最大エントロピーの原理に基づいて観測者予測をモデル化し,認識戦略を効率的に生成する手法を提案する。
論文 参考訳（メタデータ） (2021-09-14T14:56:23Z) - Instance-Aware Predictive Navigation in Multi-Agent Environments [93.15055834395304]
エージェント間の相互作用と将来のシーン構造を予測するIPC(Instance-Aware Predictive Control)アプローチを提案する。
我々は,ego中心の視点でエージェント間のインタラクションを推定するために,新しいマルチインスタンスイベント予測モジュールを採用する。
シーンレベルとインスタンスレベルの両方の予測状態をより有効活用するために、一連のアクションサンプリング戦略を設計します。
論文 参考訳（メタデータ） (2021-01-14T22:21:25Z) - Deep Interactive Bayesian Reinforcement Learning via Meta-Learning [63.96201773395921]
他のエージェントの戦略に対する不確実性下での最適適応行動は、インタラクティブベイズ強化学習フレームワークを用いて計算することができる。
本稿では,メタラーン近似的信念推論とベイズ最適行動を提案する。
提案手法は, モデルフリーアプローチ, 近似後部からのサンプル採取, 他者のメモリフリーモデル維持, あるいは環境の既知の構造を完全に活用しない既存手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-01-11T13:25:13Z) - Randomized Entity-wise Factorization for Multi-Agent Reinforcement
Learning [59.62721526353915]
実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。
我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
論文 参考訳（メタデータ） (2020-06-07T18:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。