論文の概要: Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2106.00136v1
• Date: Mon, 31 May 2021 23:08:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 04:15:59.457872
• Title: Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning
• Title（参考訳）: Tesseract:マルチエージェント強化学習のためのテンソル化アクター
• Authors: Anuj Mahajan, Mikayel Samvelyan, Lei Mao, Viktor Makoviychuk, Animesh Garg, Jean Kossaifi, Shimon Whiteson, Yuke Zhu, Animashree Anandkumar
• Abstract要約: MARLは、コミュニケーションと可観測性に様々な制約を課すことによって、問題を悪化させる。 値ベースの手法では、最適な値関数を正確に表現することが課題となる。 政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。 学習理論の観点からは、関連するアクション値関数を正確に表現することで、両方の問題に対処できることが示される。
• 参考スコア（独自算出の注目度）: 92.05556163518999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement Learning in large action spaces is a challenging problem. Cooperative multi-agent reinforcement learning (MARL) exacerbates matters by imposing various constraints on communication and observability. In this work, we consider the fundamental hurdle affecting both value-based and policy-gradient approaches: an exponential blowup of the action space with the number of agents. For value-based methods, it poses challenges in accurately representing the optimal value function. For policy gradient methods, it makes training the critic difficult and exacerbates the problem of the lagging critic. We show that from a learning theory perspective, both problems can be addressed by accurately representing the associated action-value function with a low-complexity hypothesis class. This requires accurately modelling the agent interactions in a sample efficient way. To this end, we propose a novel tensorised formulation of the Bellman equation. This gives rise to our method Tesseract, which views the Q-function as a tensor whose modes correspond to the action spaces of different agents. Algorithms derived from Tesseract decompose the Q-tensor across agents and utilise low-rank tensor approximations to model agent interactions relevant to the task. We provide PAC analysis for Tesseract-based algorithms and highlight their relevance to the class of rich observation MDPs. Empirical results in different domains confirm Tesseract's gains in sample efficiency predicted by the theory.
• Abstract（参考訳）: 大規模行動空間における強化学習は難しい課題である。 協調型マルチエージェント強化学習(marl)は、コミュニケーションと可観測性に様々な制約を課すことで問題を悪化させる。 本研究では,アクション空間の指数関数的な爆発とエージェント数の増加という,価値ベースのアプローチと政策段階のアプローチの両方に影響を与える基本的なハードルを考える。 値に基づく手法では、最適な値関数を正確に表現することが困難となる。 政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。 学習理論の観点からは, 関連する動作値関数を低複雑度仮説クラスで正確に表現することで, 両問題に対処できることを示す。 これは、エージェントの相互作用をサンプル効率の良い方法で正確にモデル化する必要がある。 この目的のために、ベルマン方程式の新しいテンソル化定式化を提案する。 これは、q-函数を異なるエージェントの作用空間に対応するモードをテンソルとして見る方法であるtesseractを導出する。 Tesseractから派生したアルゴリズムはエージェント間でQテンソルを分解し、低ランクテンソル近似を利用してタスクに関連するエージェントの相互作用をモデル化する。 本稿では,テッセラクトに基づくアルゴリズムのPAC解析を行い,リッチ・オブザーバ MDP のクラスとの関係を明らかにする。 異なる領域における実証的な結果は、理論によって予測されるサンプル効率におけるテッセラクトの利得を確認する。

関連論文リスト

• Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods [59.779795063072655]
  CoT(Chain-of-Thought)の促進とその変種は、多段階推論問題を解決する効果的な方法として人気を集めている。 統計的推定の観点からCoTのプロンプトを解析し,その複雑さを包括的に評価する。
  論文  参考訳（メタデータ） (2024-08-25T04:07:18Z)
• Temporal Difference Learning with Compressed Updates: Error-Feedback meets Reinforcement Learning [47.904127007515925]
  本稿では,従来の時間差学習アルゴリズムの変種について検討する。 我々は、圧縮されたTDアルゴリズムと、最適化に広く用いられているエラーフィードバック機構が組み合わさって、漸近的でない近似を保証することを証明した。 特に、これらは一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを考慮に入れたRLにおける最初の有限時間結果である。
  論文  参考訳（メタデータ） (2023-01-03T04:09:38Z)
• Batch Active Learning from the Perspective of Sparse Approximation [12.51958241746014]
  アクティブな学習は、機械学習エージェントと人間のアノテーションとのインタラクションを活用することで、効率的なモデルトレーニングを可能にする。 スパース近似の観点からバッチアクティブラーニングを定式化する新しいフレームワークを提案し,提案する。 我々のアクティブラーニング手法は、ラベルのないデータプールから、対応するトレーニング損失関数が、そのフルデータプールに近似するように、情報的サブセットを見つけることを目的としている。
  論文  参考訳（メタデータ） (2022-11-01T03:20:28Z)
• Interaction Pattern Disentangling for Multi-Agent Reinforcement Learning [39.4394389642761]
  本稿では,対話型対話を対話型プロトタイプに切り離すための新しい対話型On Pattern DisenTangling (OPT) 手法を提案する。 OPTは無関係な実体間のノイズの相互作用をフィルタリングしやすくし、一般化可能性や解釈可能性を大幅に向上させる。 単一タスク,マルチタスク,ゼロショットのベンチマーク実験により,提案手法が最先端のベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-08T13:42:54Z)
• Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
  フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。 本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
  論文  参考訳（メタデータ） (2022-05-24T20:51:37Z)
• Model based Multi-agent Reinforcement Learning with Tensor Decompositions [52.575433758866936]
  本稿では、CPランクの低いテンソルとして遷移関数と報酬関数をモデル化することにより、未探索の状態-作用対上の状態-作用空間の一般化を考察する。 合成MDPの実験により、モデルに基づく強化学習アルゴリズムでテンソル分解を用いることで、真の遷移関数と報酬関数が実際に低ランクである場合、はるかに高速な収束が得られることが示された。
  論文  参考訳（メタデータ） (2021-10-27T15:36:25Z)
• ROMAX: Certifiably Robust Deep Multiagent Reinforcement Learning via Convex Relaxation [32.091346776897744]
  サイバー物理攻撃は、マルチエージェント強化学習の堅牢性に挑戦することができる。 我々は,他のエージェントの最悪のポリシー更新を推測するミニマックスMARL手法を提案する。
  論文  参考訳（メタデータ） (2021-09-14T16:18:35Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)
• Represented Value Function Approach for Large Scale Multi Agent Reinforcement Learning [0.30458514384586394]
  本稿では,エージェント間の相互作用の複雑さを低減するために,ペア値関数の表現問題について検討する。 我々は、近似値関数の自明な項が有界であることを保証するために l2-norm トリックを採用する。
  論文  参考訳（メタデータ） (2020-01-04T16:29:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。