論文の概要: Multi-Agent Transfer Learning via Temporal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2406.01377v1
• Date: Mon, 3 Jun 2024 14:42:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 22:49:47.392401
• Title: Multi-Agent Transfer Learning via Temporal Contrastive Learning
• Title（参考訳）: 時間的コントラスト学習によるマルチエージェントトランスファー学習
• Authors: Weihao Zeng, Joseph Campbell, Simon Stepputtis, Katia Sycara,
• Abstract要約: 本稿では,深層多エージェント強化学習のための新しい伝達学習フレームワークを提案する。 このアプローチは、ゴール条件付きポリシーと時間的コントラスト学習を自動的に組み合わせて、意味のあるサブゴールを発見する。
• 参考スコア（独自算出の注目度）: 8.487274986507922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a novel transfer learning framework for deep multi-agent reinforcement learning. The approach automatically combines goal-conditioned policies with temporal contrastive learning to discover meaningful sub-goals. The approach involves pre-training a goal-conditioned agent, finetuning it on the target domain, and using contrastive learning to construct a planning graph that guides the agent via sub-goals. Experiments on multi-agent coordination Overcooked tasks demonstrate improved sample efficiency, the ability to solve sparse-reward and long-horizon problems, and enhanced interpretability compared to baselines. The results highlight the effectiveness of integrating goal-conditioned policies with unsupervised temporal abstraction learning for complex multi-agent transfer learning. Compared to state-of-the-art baselines, our method achieves the same or better performances while requiring only 21.7% of the training samples.
• Abstract（参考訳）: 本稿では,深層多エージェント強化学習のための新しい伝達学習フレームワークを提案する。 このアプローチは、ゴール条件付きポリシーと時間的コントラスト学習を自動的に組み合わせて、意味のあるサブゴールを発見する。 このアプローチでは、目標条件付きエージェントを事前トレーニングし、ターゲットドメイン上でそれを微調整し、対照的な学習を使用して、サブゴールを介してエージェントをガイドする計画グラフを構築する。 オーバークッキングタスクによるマルチエージェント協調実験では、サンプル効率の向上、スパース・リワードとロングホライゾンの問題を解決する能力、ベースラインと比較して解釈可能性の向上が示されている。 その結果、複雑なマルチエージェント変換学習において、目標条件付きポリシーと教師なし時間的抽象学習を統合することの有効性を強調した。 最先端のベースラインと比較して,本手法はトレーニングサンプルの21.7%しか必要とせず,同等あるいはより良い性能を実現している。

関連論文リスト

• Online inductive learning from answer sets for efficient reinforcement learning exploration [52.03682298194168]
  エージェントポリシーの近似を説明可能な近似を表す論理規則の集合を学習するために,帰納的な解集合プログラムの学習を利用する。 次に、学習ルールに基づいて回答セット推論を行い、次のバッチで学習エージェントの探索をガイドします。 本手法は,初回トレーニングにおいても,エージェントが達成した割引リターンを著しく向上させる。
  論文  参考訳（メタデータ） (2025-01-13T16:13:22Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Transfer Reinforcement Learning in Heterogeneous Action Spaces using Subgoal Mapping [9.81076530822611]
  本稿では,専門家エージェントポリシーと学習者エージェントポリシーのサブゴールマッピングを学習する手法を提案する。 タスクの分散のために,Long Short Term Memory (LSTM) ネットワークをトレーニングすることで,このサブゴールマッピングを学習する。 提案手法は,与えられたタスクの分布に基づくサブゴールマッピングを効果的に発見できることを実証する。
  論文  参考訳（メタデータ） (2024-10-18T14:08:41Z)
• Variational Offline Multi-agent Skill Discovery [43.869625428099425]
  本稿では,サブグループレベルの抽象化と時間レベルの抽象化を同時に取得し,マルチエージェントスキルを形成するための2つの新しい自動エンコーダ方式を提案する。 提案手法はオフラインのマルチタスクデータに適用可能であり,検出したサブグループスキルは再トレーニングすることなく,関連するタスク間で伝達可能である。
  論文  参考訳（メタデータ） (2024-05-26T00:24:46Z)
• MADiff: Offline Multi-agent Learning with Diffusion Models [79.18130544233794]
  MADiffは拡散型マルチエージェント学習フレームワークである。 分散ポリシと集中型コントローラの両方として機能する。 実験の結果,MADiffは様々なマルチエージェント学習タスクにおいて,ベースラインアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-27T02:14:09Z)
• Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation [13.670618752160594]
  深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。 従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。 効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-25T19:09:29Z)
• SA-MATD3:Self-attention-based multi-agent continuous control method in cooperative environments [12.959163198988536]
  既存のアルゴリズムは、エージェントの数が増加するにつれて、不均一な学習度の問題に悩まされる。 マルチエージェントアクター批評家のための新しい構造を提案し,批評家ネットワークに自己注意機構を適用した。 提案アルゴリズムは、リプレイメモリバッファ内のサンプルをフル活用して、エージェントのクラスの振る舞いを学習する。
  論文  参考訳（メタデータ） (2021-07-01T08:15:05Z)
• Importance Weighted Policy Learning and Adaptation [89.46467771037054]
  政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。 このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。 提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
  論文  参考訳（メタデータ） (2020-09-10T14:16:58Z)
• Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
  新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。 エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。 そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。 提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
  論文  参考訳（メタデータ） (2020-06-17T03:58:25Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。