論文の概要: Towards Unsupervised Multi-Agent Reinforcement Learning via Task-Agnostic Exploration

• arxiv url: http://arxiv.org/abs/2502.08365v3
• Date: Tue, 24 Jun 2025 11:08:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 17:41:07.768715
• Title: Towards Unsupervised Multi-Agent Reinforcement Learning via Task-Agnostic Exploration
• Title（参考訳）: タスク非依存探索による教師なしマルチエージェント強化学習に向けて
• Authors: Riccardo Zamboni, Mirco Mutti, Marcello Restelli,
• Abstract要約: 実践的な設定でこの問題に対処するために,スケーラブルで分散化された信頼領域ポリシー探索アルゴリズムを提案する。 本研究では,特定の目的,すなわち混合エントロピーの最適化が,トラクタビリティと性能のトレードオフに優れたものであることを示す。
• 参考スコア（独自算出の注目度）: 44.601019677298005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In reinforcement learning, we typically refer to unsupervised pre-training when we aim to pre-train a policy without a priori access to the task specification, i.e. rewards, to be later employed for efficient learning of downstream tasks. In single-agent settings, the problem has been extensively studied and mostly understood. A popular approach, called task-agnostic exploration, casts the unsupervised objective as maximizing the entropy of the state distribution induced by the agent's policy, from which principles and methods follow. In contrast, little is known about it in multi-agent settings, which are ubiquitous in the real world. What are the pros and cons of alternative problem formulations in this setting? How hard is the problem in theory, how can we solve it in practice? In this paper, we address these questions by first characterizing those alternative formulations and highlighting how the problem, even when tractable in theory, is non-trivial in practice. Then, we present a scalable, decentralized, trust-region policy search algorithm to address the problem in practical settings. Finally, we provide numerical validations to both corroborate the theoretical findings and pave the way for unsupervised multi-agent reinforcement learning via task-agnostic exploration in challenging domains, showing that optimizing for a specific objective, namely mixture entropy, provides an excellent trade-off between tractability and performances.
• Abstract（参考訳）: 強化学習では、通常、タスク仕様に事前アクセスせずにポリシーを事前訓練すること、すなわち報酬を後から下流タスクの効率的な学習に使用する場合、教師なし事前学習を指す。 単一エージェント環境では、この問題は広く研究され、主に理解されている。 タスク非依存探索と呼ばれる一般的なアプローチは、教師なしの目的を、エージェントの方針によって引き起こされる状態分布のエントロピーを最大化するものとして、その原則と方法が従うべきものである。 対照的に、実世界で広く見られるマルチエージェント設定では、ほとんど知られていない。 この設定における代替問題定式化の長所と短所は何か。 理論上の問題はどの程度難しいのか、実際にどのように解決できるのか? 本稿では,これらの代替式を最初に特徴付けることで,理論的に計算可能な問題であっても,実際にどのようにして問題に対処するかを強調することによって,これらの問題に対処する。 そこで我々は,スケーラブルで分散化された信頼領域ポリシー探索アルゴリズムを提案し,実践的な設定でこの問題に対処する。 最後に, 課題領域におけるタスク非依存探索による教師なしマルチエージェント強化学習の手法を, 理論的知見の相関関係と, 課題領域における教師なしマルチエージェント強化学習の道を開くための数値的検証を行い, 混合エントロピー(mixed entropy)という特定の目的への最適化が, トラクション性と性能の優れたトレードオフをもたらすことを示した。

関連論文リスト

• Causally Aligned Curriculum Learning [69.11672390876763]
  本稿では、因果レンズによるカリキュラムRLの問題について検討する。 因果的に整合したソースタスクを特徴付ける十分なグラフィカルな条件を導出する。 因果整合型カリキュラムを生成するための効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-03-21T02:20:38Z)
• Learn to Follow: Decentralized Lifelong Multi-agent Pathfinding via Planning and Learning [46.354187895184154]
  マルチエージェントパスフィンディング(MAPF)問題は通常、グラフに制限されたエージェントの集合に対する競合のないパスの集合を見つけるよう要求する。 本研究では,エージェントの位置や目標に関する情報をすべて収集する中央制御器が存在しない場合の分散MAPF設定について検討する。 我々は,先行するエージェントに新たな目標を連続的に割り当てることを含むMAPFの実用上重要な寿命変化に焦点をあてる。
  論文  参考訳（メタデータ） (2023-10-02T13:51:32Z)
• Deep Multi-Agent Reinforcement Learning for Decentralized Active Hypothesis Testing [11.639503711252663]
  我々は,深層多エージェント強化学習の枠組みに根ざした新しいアルゴリズムを導入することで,マルチエージェント能動仮説テスト(AHT)問題に取り組む。 エージェントが協調戦略を学習し、性能を向上させる能力を効果的に示す実験結果を包括的に提示する。
  論文  参考訳（メタデータ） (2023-09-14T01:18:04Z)
• On the Importance of Exploration for Generalization in Reinforcement Learning [89.63074327328765]
  本研究では,不確実性の高い状態の探索を支援する方法であるEDE: Exploration via Distributional Ensembleを提案する。 当社のアルゴリズムは,ProcgenとCrafterの両面で最先端を実現するための,最初のバリューベースアプローチである。
  論文  参考訳（メタデータ） (2023-06-08T18:07:02Z)
• Emergence of Novelty in Evolutionary Algorithms [0.0]
  迷路問題にアプローチを導入し,提案した解と比較する。 私たちのソリューションでは、パフォーマンスが大幅に向上すると同時に、はるかにシンプルであることに気付きました。 そこで我々は,この問題を一般化し,より高度なタスクセットであるAtari Gamesにアプローチを適用する。
  論文  参考訳（メタデータ） (2022-06-27T13:49:41Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Attaining Interpretability in Reinforcement Learning via Hierarchical Primitive Composition [3.1078562713129765]
  本稿では,従来の課題を階層構造に分解して軽減する階層型強化学習アルゴリズムを提案する。 提案手法は,6自由度マニピュレータを用いてピック・アンド・プレイス・タスクを解くことで,実際にどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2021-10-05T05:59:31Z)
• Q-Mixing Network for Multi-Agent Pathfinding in Partially Observable Grid Environments [62.997667081978825]
  部分的に観測可能なグリッド環境におけるマルチエージェントナビゲーションの問題点を考察する。 エージェントがまず、観察を行動にマッピングする方針を学習し、その目的を達成するためにこれらの方針に従うとき、強化学習アプローチを活用することを提案する。
  論文  参考訳（メタデータ） (2021-08-13T09:44:47Z)
• Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
  深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。 ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。 CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-07-23T20:06:32Z)
• MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning [65.52675802289775]
  本研究では,不確かさを意識した分類器が,強化学習の難しさを解消できることを示す。 正規化最大度(NML)分布の計算法を提案する。 得られたアルゴリズムは、カウントベースの探索法と、報酬関数を学習するための先行アルゴリズムの両方に多くの興味深い関係を持つことを示す。
  論文  参考訳（メタデータ） (2021-07-15T08:19:57Z)
• Discrete-Time Mean Field Control with Environment States [25.44061731738579]
  平均フィールド制御と平均フィールドゲームは、多くのエージェントとの大規模なマルチエージェント問題のためのトラクタブルソリューションとして確立されています。 有限エージェントケースでのエージェント数の増加に伴い、近似最適性を厳格に確立します。 動的プログラミングの原則が成り立ち、その結果、最適な定常的なポリシーが存在することが分かりました。
  論文  参考訳（メタデータ） (2021-04-30T10:58:01Z)
• Coverage as a Principle for Discovering Transferable Behavior in Reinforcement Learning [16.12658895065585]
  私たちは、表現だけでは挑戦的な領域での効率的な転送には不十分であり、行動を通じて知識を伝達する方法を探ります。 事前訓練された政策の行動は、手作業(探索)の問題解決や、問題(探索)の解決に有用なデータ収集に利用することができる。
  論文  参考訳（メタデータ） (2021-02-24T16:51:02Z)
• Discovery of Options via Meta-Learned Subgoals [59.2160583043938]
  オプションの形での時間的抽象化は、強化学習(RL)エージェントの学習の高速化に役立つことが示されている。 マルチタスクRL環境で有用なオプションを発見するための新しいメタグラデーションアプローチを紹介します。
  論文  参考訳（メタデータ） (2021-02-12T19:50:40Z)
• Task-Optimal Exploration in Linear Dynamical Systems [29.552894877883883]
  タスクガイドによる探索を行い、タスクを完了させるためにエージェントが環境について正確に何を学ばなければならないかを決定する。 我々は、関心のあるタスクを完了させることの難しさを明示的に定量化する、インスタンス依存およびタスク依存の下位境界を提供する。 本研究では,タスク完了に必要な情報を正確に収集し,インスタンスとタスクの最適サンプルの複雑さを達成するための有限時間境界を提供することにより,環境を最適に探索することを示す。
  論文  参考訳（メタデータ） (2021-02-10T01:42:22Z)
• Geometric Entropic Exploration [52.67987687712534]
  離散領域と連続領域の両方における状態ビジットの幾何認識シャノンエントロピーを最大化する新しいアルゴリズムを導入する。 私たちの重要な理論的貢献は、単純で新しいノイズコントラストの客観的関数を最適化する牽引可能な問題としてジオメトリ認識MSVE探索を鋳造することです。 実験では,他の深部RL探査手法と比較して,疎度な報酬を伴う複数のRL問題の解法におけるGEMの効率性を示した。
  論文  参考訳（メタデータ） (2021-01-06T14:15:07Z)
• A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning [47.154539984501895]
  本稿では,マルチエージェント学習環境に固有の非定常的ポリシーダイナミクスを考慮に入れたメタマルチエージェントポリシー勾配定理を提案する。 これは、エージェント自身の非定常ポリシーダイナミクスと、環境内の他のエージェントの非定常ポリシーダイナミクスの両方を考慮するために、勾配更新をモデル化することによって達成される。
  論文  参考訳（メタデータ） (2020-10-31T22:50:21Z)
• Sequential Transfer in Reinforcement Learning with a Generative Model [48.40219742217783]
  本稿では,従来の課題から知識を移譲することで,新たな課題を学習する際のサンプルの複雑さを軽減する方法について述べる。 この種の事前知識を使用することのメリットを明確に示すために,PAC境界のサンプル複雑性を導出する。 簡単なシミュレートされた領域における理論的な発見を実証的に検証する。
  論文  参考訳（メタデータ） (2020-07-01T19:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。