論文の概要: Coordination Failure in Cooperative Offline MARL

• arxiv url: http://arxiv.org/abs/2407.01343v1
• Date: Mon, 1 Jul 2024 14:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 21:10:33.548903
• Title: Coordination Failure in Cooperative Offline MARL
• Title（参考訳）: 協調オフラインMARLにおけるコーディネーション故障
• Authors: Callum Rhys Tilbury, Claude Formanek, Louise Beyers, Jonathan P. Shock, Arnu Pretorius,
• Abstract要約: オフラインデータを用いた多エージェント政策勾配における協調的障害と協調行動の役割について検討する。 解析ツールとして2プレイヤーゲームを用いることで、BRUDアルゴリズムの単純な失敗モードを実演する。 本稿では,共同動作の類似性に基づくデータセットからのサンプルの優先順位付けにより,そのような障害を緩和する手法を提案する。
• 参考スコア（独自算出の注目度）: 3.623224034411137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline multi-agent reinforcement learning (MARL) leverages static datasets of experience to learn optimal multi-agent control. However, learning from static data presents several unique challenges to overcome. In this paper, we focus on coordination failure and investigate the role of joint actions in multi-agent policy gradients with offline data, focusing on a common setting we refer to as the 'Best Response Under Data' (BRUD) approach. By using two-player polynomial games as an analytical tool, we demonstrate a simple yet overlooked failure mode of BRUD-based algorithms, which can lead to catastrophic coordination failure in the offline setting. Building on these insights, we propose an approach to mitigate such failure, by prioritising samples from the dataset based on joint-action similarity during policy learning and demonstrate its effectiveness in detailed experiments. More generally, however, we argue that prioritised dataset sampling is a promising area for innovation in offline MARL that can be combined with other effective approaches such as critic and policy regularisation. Importantly, our work shows how insights drawn from simplified, tractable games can lead to useful, theoretically grounded insights that transfer to more complex contexts. A core dimension of offering is an interactive notebook, from which almost all of our results can be reproduced, in a browser.
• Abstract（参考訳）: オフラインマルチエージェント強化学習(MARL)は、経験の静的データセットを利用して最適なマルチエージェント制御を学習する。 しかし、静的データから学ぶことは克服すべきいくつかの固有の課題を提示している。 本稿では、協調障害に着目し、オフラインデータを用いたマルチエージェントポリシーグラデーションにおける共同行動の役割を考察し、「BRUD(Best Response Under Data)アプローチ」と呼ばれる一般的な設定に焦点を当てる。 解析ツールとして2プレイヤー多項式ゲームを用いることで、BRUDベースのアルゴリズムの単純な失敗モードを実証し、オフライン環境で破滅的な調整失敗を引き起こす可能性がある。 これらの知見に基づいて、政策学習中の協調行動類似性に基づいてデータセットからサンプルを優先し、その効果を詳細な実験で示すことによって、そのような失敗を緩和する手法を提案する。 しかし、より一般的には、優先順位付きデータセットサンプリングは、批判やポリシー正則化といった他の効果的なアプローチと組み合わせることができるオフラインMARLにおけるイノベーションの有望な領域である、と論じる。 重要なことは、我々が行った研究は、シンプルで扱いやすいゲームから引き出された洞察が、より複雑な状況に移行する有用な理論的根拠を持つ洞察にどのように結びつくかを示している。 提供する中核的な次元はインタラクティブなノートブックで、そこからほとんどの結果がブラウザで再生されます。

関連論文リスト

• Scalable Offline Reinforcement Learning for Mean Field Games [6.8267158622784745]
  Off-MMDは、純粋なオフラインデータを用いて平均フィールドゲームにおける平衡ポリシーを近似する新しい平均フィールドRLアルゴリズムである。 我々のアルゴリズムは複雑な環境にスケールし、群衆探索やナビゲーションといったベンチマークタスクで強いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-10-23T14:16:34Z)
• Exploiting Structure in Offline Multi-Agent RL: The Benefits of Low Interaction Rank [52.831993899183416]
  相互作用ランクという構造的仮定を導入し、相互作用ランクの低い関数が一般的なものよりも分布シフトに対して著しく堅牢であることを示す。 我々は,非正規化と非正規化学習と組み合わせることで,オフラインMARLにおける分散的,計算的,統計的に効率的な学習が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-10-01T22:16:22Z)
• Multi-Agent Reinforcement Learning from Human Feedback: Data Coverage and Algorithmic Techniques [65.55451717632317]
  我々は,MARLHF(Multi-Agent Reinforcement Learning from Human Feedback)について検討し,理論的基礎と実証的検証の両方について検討した。 我々は,このタスクを,一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ均衡を識別するものとして定義する。 本研究は,MARLHFの多面的アプローチを基礎として,効果的な嗜好に基づくマルチエージェントシステムの実現を目指している。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Simple Ingredients for Offline Reinforcement Learning [86.1988266277766]
  オフライン強化学習アルゴリズムは、ターゲット下流タスクに高度に接続されたデータセットに有効であることが証明された。 既存の手法が多様なデータと競合することを示す。その性能は、関連するデータ収集によって著しく悪化するが、オフラインバッファに異なるタスクを追加するだけでよい。 アルゴリズム的な考慮以上のスケールが、パフォーマンスに影響を及ぼす重要な要因であることを示す。
  論文  参考訳（メタデータ） (2024-03-19T18:57:53Z)
• Pessimistic Causal Reinforcement Learning with Mediators for Confounded Offline Data [17.991833729722288]
  我々は新しいポリシー学習アルゴリズム PESsimistic CAusal Learning (PESCAL) を提案する。 我々のキーとなる観察は、システム力学における作用の効果を媒介する補助変数を組み込むことで、Q-関数の代わりに媒介物分布関数の下位境界を学習することは十分であるということである。 提案するアルゴリズムの理論的保証とシミュレーションによる有効性の実証、および主要な配車プラットフォームからのオフラインデータセットを利用した実世界の実験を提供する。
  論文  参考訳（メタデータ） (2024-03-18T14:51:19Z)
• Interactive Graph Convolutional Filtering [79.34979767405979]
  インタラクティブ・レコメンダ・システム(IRS)は、パーソナライズされた記事レコメンデーション、ソーシャルメディア、オンライン広告など、さまざまな領域でますます利用されている。 これらの問題は、コールドスタート問題とデータスポーサリティ問題によって悪化する。 既存のMulti-Armed Bandit手法は、慎重に設計された探査戦略にもかかわらず、しばしば初期の段階で満足な結果を提供するのに苦労する。 提案手法は,ユーザとアイテム間の協調フィルタリング性能を向上させるため,協調フィルタリングをグラフモデルに拡張する。
  論文  参考訳（メタデータ） (2023-09-04T09:02:31Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• Offline Equilibrium Finding [40.08360411502593]
  オフラインRLをマルチエージェントまたはマルチプレイヤーゲーム設定に一般化することを目指している。 この領域では、標準化されたデータセットと意味のあるベンチマークの欠如によって、進捗が妨げられているため、非常に少ない研究がなされている。 OEF-PSROとOEF-CFRの2つのモデルベースアルゴリズムは、オフライン学習の文脈で広く使われている平衡探索アルゴリズムDeep CFRとPSROの適応である。
  論文  参考訳（メタデータ） (2022-07-12T03:41:06Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Counterfactual Learning of Stochastic Policies with Continuous Actions: from Models to Offline Evaluation [41.21447375318793]
  コンテクストとアクションを融合したカーネルを組み込んだモデリング戦略を導入する。 対実学習の最適化の側面が重要であることを実証的に示す。 実世界のログシステムにおけるオフラインポリシーの評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2020-04-22T07:42:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。