論文の概要: Episodic Future Thinking Mechanism for Multi-agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2410.17373v1
- Date: Tue, 22 Oct 2024 19:12:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-24 13:56:35.415794
- Title: Episodic Future Thinking Mechanism for Multi-agent Reinforcement Learning
- Title（参考訳）: マルチエージェント強化学習のためのエピソード・フューチャー思考機構
- Authors: Dongsu Lee, Minhae Kwon,
- Abstract要約: 本稿では、強化学習(RL)エージェントのためのエピソード・フューチャー・シンキング(EFT)機構を導入する。
まず、異種ポリシーのアンサンブルで多様な文字をキャプチャするマルチ文字ポリシーを開発する。
キャラクタが推論されると、エージェントはターゲットエージェントの今後のアクションを予測し、将来のシナリオをシミュレートする。
- 参考スコア（独自算出の注目度）: 2.992602379681373
- License:
- Abstract: Understanding cognitive processes in multi-agent interactions is a primary goal in cognitive science. It can guide the direction of artificial intelligence (AI) research toward social decision-making in multi-agent systems, which includes uncertainty from character heterogeneity. In this paper, we introduce an episodic future thinking (EFT) mechanism for a reinforcement learning (RL) agent, inspired by cognitive processes observed in animals. To enable future thinking functionality, we first develop a multi-character policy that captures diverse characters with an ensemble of heterogeneous policies. Here, the character of an agent is defined as a different weight combination on reward components, representing distinct behavioral preferences. The future thinking agent collects observation-action trajectories of the target agents and uses the pre-trained multi-character policy to infer their characters. Once the character is inferred, the agent predicts the upcoming actions of target agents and simulates the potential future scenario. This capability allows the agent to adaptively select the optimal action, considering the predicted future scenario in multi-agent interactions. To evaluate the proposed mechanism, we consider the multi-agent autonomous driving scenario with diverse driving traits and multiple particle environments. Simulation results demonstrate that the EFT mechanism with accurate character inference leads to a higher reward than existing multi-agent solutions. We also confirm that the effect of reward improvement remains valid across societies with different levels of character diversity.
- Abstract（参考訳）: 多エージェント相互作用における認知過程の理解は認知科学の第一の目標である。
これは、多エージェントシステムにおける社会的意思決定に向けた人工知能(AI)研究の方向性を導くことができ、文字の不均一性から不確実性を含む。
本稿では,動物で観察される認知過程に触発された強化学習(RL)エージェントのためのエピソード・フューチャー・シンキング(EFT)機構を紹介する。
将来的な思考機能を実現するために、我々はまず、異種ポリシーの集合で多様な文字をキャプチャするマルチキャラクタポリシーを開発する。
ここでは、エージェントの性格は報酬成分の異なる重み付けとして定義され、異なる行動選好を表す。
将来の思考エージェントは、対象エージェントの観察行動軌跡を収集し、事前訓練されたマルチキャラクタポリシーを用いてキャラクタを推測する。
キャラクタが推論されると、エージェントはターゲットエージェントの今後のアクションを予測し、将来のシナリオをシミュレートする。
この能力によりエージェントは、マルチエージェントインタラクションにおける予測される将来のシナリオを考慮して、最適なアクションを適応的に選択できる。
提案手法を評価するため,多様な運転特性と複数粒子環境を有する多エージェント自律走行シナリオを考察した。
シミュレーションの結果, 正確なキャラクタ推論によるETF機構は, 既存のマルチエージェントソリューションよりも高い報酬をもたらすことが示された。
また,人格多様性の異なる社会において,報酬改善の効果が有効であることも確認した。
関連論文リスト
- Agent AI: Surveying the Horizons of Multimodal Interaction [83.18367129924997]
エージェントAI(Agent AI)とは、視覚刺激や言語入力、その他の環境データを知覚できる対話型システムである。
我々は,バーチャルリアリティやシミュレートされたシーンを容易に作成し,仮想環境内に具体化されたエージェントと対話できる未来を構想する。
論文 参考訳（メタデータ） (2024-01-07T19:11:18Z) - DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement
Learning [84.22561239481901]
本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。
マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
論文 参考訳（メタデータ） (2023-12-10T06:03:57Z) - Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement
Learning [5.314466196448188]
本稿では,深いネットワークによってモデル化された政策の中で意味論的・人間解釈的信念を基礎づける手法を提案する。
各エージェントが他のエージェントの信念を予測する能力は,マルチエージェント強化学習の本質的な報奨信号として利用できることを提案する。
論文 参考訳（メタデータ） (2023-07-03T17:07:18Z) - CAMMARL: Conformal Action Modeling in Multi Agent Reinforcement Learning [5.865719902445064]
本稿では,新しいマルチエージェント強化学習アルゴリズムCAMMARLを提案する。
それは、異なる状況における他のエージェントのアクションを、自信集合の形でモデル化することを含む。
本稿では,CAMMARLが共形予測セットをモデル化することにより,MARLにおける自律エージェントの能力を高めることを示す。
論文 参考訳（メタデータ） (2023-06-19T19:03:53Z) - Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent
RL [107.58821842920393]
我々はエージェントの行動差を定量化し、bfロールの多様性を通して政策パフォーマンスとの関係を構築する
MARLの誤差は, 役割多様性と強い関係を持つ3つの部分に分けられる。
分解された要因は3つの一般的な方向における政策最適化に大きな影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2022-06-01T04:58:52Z) - Diversifying Agent's Behaviors in Interactive Decision Models [11.125175635860169]
他のエージェントの振る舞いをモデル化することは、複数のエージェント間の相互作用に関する決定モデルにおいて重要な役割を果たす。
本稿では,その相互作用に先立って,被験者の意思決定モデルにおける他のエージェントの行動の多様化について検討する。
論文 参考訳（メタデータ） (2022-03-06T23:05:00Z) - Assessing Human Interaction in Virtual Reality With Continually Learning
Prediction Agents Based on Reinforcement Learning Algorithms: A Pilot Study [6.076137037890219]
本研究では,人間と学習の継続する予測エージェントの相互作用が,エージェントの能力の発達とともにどのように発達するかを検討する。
我々は、強化学習(RL)アルゴリズムから学習した予測が人間の予測を増大させる仮想現実環境と時間ベースの予測タスクを開発する。
以上の結果から,人的信頼はエージェントとの早期の相互作用に影響され,信頼が戦略的行動に影響を及ぼす可能性が示唆された。
論文 参考訳（メタデータ） (2021-12-14T22:46:44Z) - Multi-Agent Imitation Learning with Copulas [102.27052968901894]
マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。
本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。
提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
論文 参考訳（メタデータ） (2021-07-10T03:49:41Z) - ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in
Multi-Agent Simulations [110.72725220033983]
Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。
ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。
特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
論文 参考訳（メタデータ） (2021-06-10T04:32:20Z) - Learning Latent Representations to Influence Multi-Agent Interaction [65.44092264843538]
エージェントのポリシーの潜在表現を学習するための強化学習に基づくフレームワークを提案する。
提案手法は代替手段よりも優れており,他のエージェントに影響を与えることを学習している。
論文 参考訳（メタデータ） (2020-11-12T19:04:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。