論文の概要: Stability of Multi-Agent Learning in Competitive Networks: Delaying the Onset of Chaos

• arxiv url: http://arxiv.org/abs/2312.11943v1
• Date: Tue, 19 Dec 2023 08:41:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 16:24:11.101292
• Title: Stability of Multi-Agent Learning in Competitive Networks: Delaying the Onset of Chaos
• Title（参考訳）: 競合ネットワークにおけるマルチエージェント学習の安定性:カオスの開始を遅らせる
• Authors: Aamal Hussain and Francesco Belardinelli
• Abstract要約: 競争的ネットワークゲームにおけるマルチエージェント学習の振る舞いは、ゼロサムゲームの文脈内でしばしば研究される。 マルチエージェント学習における探索と活用の一般的なモデルであるQ-Learning dynamicsについて検討する。 また,Q-Learningの安定性はエージェントの総数ではなくネットワーク接続にのみ依存していることが判明した。
• 参考スコア（独自算出の注目度）: 9.220952628571812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The behaviour of multi-agent learning in competitive network games is often studied within the context of zero-sum games, in which convergence guarantees may be obtained. However, outside of this class the behaviour of learning is known to display complex behaviours and convergence cannot be always guaranteed. Nonetheless, in order to develop a complete picture of the behaviour of multi-agent learning in competitive settings, the zero-sum assumption must be lifted. Motivated by this we study the Q-Learning dynamics, a popular model of exploration and exploitation in multi-agent learning, in competitive network games. We determine how the degree of competition, exploration rate and network connectivity impact the convergence of Q-Learning. To study generic competitive games, we parameterise network games in terms of correlations between agent payoffs and study the average behaviour of the Q-Learning dynamics across all games drawn from a choice of this parameter. This statistical approach establishes choices of parameters for which Q-Learning dynamics converge to a stable fixed point. Differently to previous works, we find that the stability of Q-Learning is explicitly dependent only on the network connectivity rather than the total number of agents. Our experiments validate these findings and show that, under certain network structures, the total number of agents can be increased without increasing the likelihood of unstable or chaotic behaviours.
• Abstract（参考訳）: 競合ネットワークゲームにおけるマルチエージェント学習の振る舞いは、収束保証が得られるゼロサムゲームの文脈内でしばしば研究される。 しかし、このクラス以外では、学習の振る舞いは複雑な振る舞いを示すことが知られており、収束は常に保証されない。 それにもかかわらず、競争環境におけるマルチエージェント学習の行動の完全な図を作成するためには、ゼロサム仮定を解除する必要がある。 競争ネットワークゲームにおけるマルチエージェント学習における探索と活用の一般的なモデルであるQ-Learning dynamicsについて検討する。 コンペティション,探索,ネットワーク接続の程度がQラーニングの収束にどのように影響するかを決定する。 汎用競争ゲームを研究するために,エージェントペイオフ間の相関関係からネットワークゲームをパラメータ化し,このパラメータの選択から引き出された全てのゲームにおけるQラーニングダイナミクスの平均的挙動について検討する。 この統計的アプローチは、Q-ラーニング力学が安定な固定点に収束するパラメータの選択を確立する。 従来の研究とは異なり、q-learningの安定性はエージェントの総数ではなくネットワーク接続のみに依存することが判明した。 実験により, ネットワーク構造下では, 不安定な動作やカオスな動作の可能性を増大させることなく, エージェントの総数を増大させることができることが示された。

関連論文リスト

• DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning [84.22561239481901]
  本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。 マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
  論文  参考訳（メタデータ） (2023-12-10T06:03:57Z)
• Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation Learning [13.060023718506917]
  模倣学習(英: mimicion learning, IL)は、協調型マルチエージェントシステムにおける実証から専門家の行動を模倣する学習の課題である。 本稿では,これらの課題に対処する新しいマルチエージェントILアルゴリズムを提案する。 本手法は,分散Q関数の集約に混在するネットワークを活用することで,集中学習を実現する。
  論文  参考訳（メタデータ） (2023-10-10T17:11:20Z)
• Stability of Multi-Agent Learning: Convergence in Network Games with Many Players [34.33866138792406]
  我々はQ-Learning dynamicsについて研究し、ネットワークゲームにおいて力学が一意平衡に収束するのに十分な条件を決定する。 この結果を代表的ネットワークゲームで評価し、適切なネットワーク条件下では、任意の数のエージェントで安定した学習ダイナミクスを実現できることを示す。
  論文  参考訳（メタデータ） (2023-07-26T02:45:02Z)
• Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
  我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。 本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-27T14:47:52Z)
• A Unifying Perspective on Multi-Calibration: Game Dynamics for Multi-Objective Learning [63.20009081099896]
  マルチキャリブレーション予測器の設計と解析のための統一フレームワークを提供する。 ゲームダイナミクスとの接続を利用して,多様なマルチ校正学習問題に対する最先端の保証を実現する。
  論文  参考訳（メタデータ） (2023-02-21T18:24:17Z)
• Asymptotic Convergence and Performance of Multi-Agent Q-Learning Dynamics [38.5932141555258]
  一般的な強化学習アルゴリズムであるスムーズなQ-Learningのダイナミクスについて検討する。 我々は、Qラーニング力学が任意のゲームにおいて一意の平衡に収束することが保証されるような探索速度の十分条件を示す。
  論文  参考訳（メタデータ） (2023-01-23T18:39:11Z)
• Competing Mutual Information Constraints with Stochastic Competition-based Activations for Learning Diversified Representations [5.981521556433909]
  本研究は,多角化表現の学習における長年の課題に対処することを目的としている。 情報理論の議論と競争に基づくアクティベーションを組み合わせる。 実験的に示すように、結果として得られるネットワークは、重要な離散表現学習能力をもたらす。
  論文  参考訳（メタデータ） (2022-01-10T20:12:13Z)
• Exploration-Exploitation in Multi-Agent Competition: Convergence with Bounded Rationality [21.94743452608215]
  本研究では,ゲーム報酬と探索費用のバランスを捉えたプロトタイプ学習モデルであるスムーズQ-ラーニングについて検討する。 Q-ラーニングは常に、有界な有理性の下でのゲームに対する標準的な解概念である一意の量子-応答平衡(QRE)に収束することを示す。
  論文  参考訳（メタデータ） (2021-06-24T11:43:38Z)
• On Information Asymmetry in Competitive Multi-Agent Reinforcement Learning: Convergence and Optimality [78.76529463321374]
  協調的でない2つのQ-ラーニングエージェントの相互作用システムについて検討する。 この情報非対称性は、集団学習の安定した結果をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2020-10-21T11:19:53Z)
• Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning [59.62721526353915]
  実世界のマルチエージェント設定は、エージェントや非エージェントエンティティのタイプや量が異なるタスクを伴うことが多い。 我々の方法は、これらの共通点を活用することを目的としており、「観察対象のランダムに選択されたサブグループのみを考えるとき、各エージェントが期待する効用は何か?」という問いを投げかける。
  論文  参考訳（メタデータ） (2020-06-07T18:28:41Z)
• Learning from Learners: Adapting Reinforcement Learning Agents to be Competitive in a Card Game [71.24825724518847]
  本稿では,競争力のあるマルチプレイヤーカードゲームの現実的な実装を学習・プレイするために,一般的な強化学習アルゴリズムをどのように適用できるかについて検討する。 本研究は,学習エージェントに対して,エージェントが競争力を持つことの学習方法を評価するための特定のトレーニングと検証ルーチンを提案し,それらが相互の演奏スタイルにどのように適応するかを説明する。
  論文  参考訳（メタデータ） (2020-04-08T14:11:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。