論文の概要: Multi-agent Reinforcement Learning with Deep Networks for Diverse Q-Vectors

• arxiv url: http://arxiv.org/abs/2406.07848v1
• Date: Wed, 12 Jun 2024 03:30:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 18:34:46.510254
• Title: Multi-agent Reinforcement Learning with Deep Networks for Diverse Q-Vectors
• Title（参考訳）: ディープネットワークを用いた多エージェント強化学習
• Authors: Zhenglong Luo, Zhiyong Chen, James Welsh,
• Abstract要約: 本稿では,Max,Nash,Maximinの戦略を用いて,様々なQベクトルを学習できるディープQ-networks(DQN)アルゴリズムを提案する。 このアプローチの有効性は、デュアルロボットアームが協力して鍋を持ち上げる環境で実証される。
• 参考スコア（独自算出の注目度）: 3.9801926395657325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent reinforcement learning (MARL) has become a significant research topic due to its ability to facilitate learning in complex environments. In multi-agent tasks, the state-action value, commonly referred to as the Q-value, can vary among agents because of their individual rewards, resulting in a Q-vector. Determining an optimal policy is challenging, as it involves more than just maximizing a single Q-value. Various optimal policies, such as a Nash equilibrium, have been studied in this context. Algorithms like Nash Q-learning and Nash Actor-Critic have shown effectiveness in these scenarios. This paper extends this research by proposing a deep Q-networks (DQN) algorithm capable of learning various Q-vectors using Max, Nash, and Maximin strategies. The effectiveness of this approach is demonstrated in an environment where dual robotic arms collaborate to lift a pot.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)は,複雑な環境下での学習を促進する能力から,重要な研究課題となっている。 マルチエージェントタスクでは、状態-作用値(一般にQ-値と呼ばれる)は個々の報酬のためにエージェントによって異なるため、Q-ベクトルとなる。 最適なポリシーを決定することは、単に1つのQ値の最大化以上のことを含むため、難しい。 ナッシュ均衡のような様々な最適政策がこの文脈で研究されている。 Nash Q-learningやNash Actor-Criticといったアルゴリズムは、これらのシナリオで有効性を示している。 本稿では,Max,Nash,Maximinの戦略を用いて,様々なQ-vectorを学習可能なディープQ-networks(DQN)アルゴリズムを提案する。 このアプローチの有効性は、デュアルロボットアームが協力して鍋を持ち上げる環境で実証される。

関連論文リスト

• Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
  我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。 実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
  論文  参考訳（メタデータ） (2023-11-05T12:03:58Z)
• Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation Learning [13.060023718506917]
  模倣学習(英: mimicion learning, IL)は、協調型マルチエージェントシステムにおける実証から専門家の行動を模倣する学習の課題である。 本稿では,これらの課題に対処する新しいマルチエージェントILアルゴリズムを提案する。 本手法は,分散Q関数の集約に混在するネットワークを活用することで,集中学習を実現する。
  論文  参考訳（メタデータ） (2023-10-10T17:11:20Z)
• MA2QL: A Minimalist Approach to Fully Decentralized Multi-Agent Reinforcement Learning [63.46052494151171]
  テキストマルチエージェント代替Q-ラーニング(MA2QL)を提案し、エージェントが順番にQ-ラーニングによってQ-関数を更新する。 各エージェントが各ターンで$varepsilon$-convergenceを保証した場合、それらの合同ポリシーはナッシュ均衡に収束する。 結果は、MA2QLが最小限の変更にもかかわらず、MA2QLの有効性を検証するIQLを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2022-09-17T04:54:32Z)
• Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
  目標条件設定における非政治強化学習と知識蒸留との関連について検討する。 これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。 また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-08-28T22:01:10Z)
• Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration [8.612437964299414]
  我々は、Deep Q-network (DQN) のための選好誘導$epsilon$-greedy探索アルゴリズムを提案する。 選好誘導探索はDQNエージェントの多様な行動、すなわちより大きなQ値のアクションをより頻繁にサンプリングできるのに対して、より小さなQ値のアクションは依然として探索可能な機会を持ち、探索を促進することを示している。
  論文  参考訳（メタデータ） (2022-06-20T08:23:49Z)
• Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values [68.8204255655161]
  本研究は,シェープリー値を用いたマルチエージェントRLにおける協調戦略を説明するための新しい手法を提案する。 結果は、差別的でない意思決定、倫理的かつ責任あるAI由来の意思決定、公正な制約の下での政策決定に影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2021-10-04T10:28:57Z)
• Towards Multi-Agent Reinforcement Learning using Quantum Boltzmann Machines [2.015864965523243]
  我々は、より困難な問題を解決するために、オリジナルの概念の拡張を提案する。 我々は、経験的なリプレイバッファを追加し、ターゲットとポリシーの値を近似するために異なるネットワークを使用します。 量子サンプリングは、強化学習タスクには有望な方法であることが証明されているが、現在はQPUサイズによって制限されている。
  論文  参考訳（メタデータ） (2021-09-22T17:59:24Z)
• Quantum agents in the Gym: a variational quantum algorithm for deep Q-learning [0.0]
  本稿では、離散的かつ連続的な状態空間に対するRLタスクを解くために使用できるパラメタライズド量子回路(PQC)のトレーニング手法を提案する。 量子Q学習エージェントのどのアーキテクチャ選択が、特定の種類の環境をうまく解決するのに最も重要であるかを検討する。
  論文  参考訳（メタデータ） (2021-03-28T08:57:22Z)
• MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning [70.540936204654]
  マルチエージェント強化学習のための新しい手法であるMAGnetを提案する。 我々は、最先端のMARLソリューションよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-17T17:19:36Z)
• Deep Q-Network Based Multi-agent Reinforcement Learning with Binary Action Agents [1.8782750537161614]
  強化学習(RL)のためのディープQネットワーク(DQN)ベースのマルチエージェントシステム(MAS)は、エージェントが学習し通信しなければならない様々なスキームを使用する。 共有状態と報酬を用いたRLのための単純だが効率的なDQNベースのMASを提案する。 このアプローチの利点は、従来のDQNベースのアプローチと比較して、全体的な単純さ、より高速な収束、より良いパフォーマンスである。
  論文  参考訳（メタデータ） (2020-08-06T15:16:05Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。