論文の概要: Multi-Agent Q-Learning Dynamics in Random Networks: Convergence due to Exploration and Sparsity

• arxiv url: http://arxiv.org/abs/2503.10186v1
• Date: Thu, 13 Mar 2025 09:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:51:12.457303
• Title: Multi-Agent Q-Learning Dynamics in Random Networks: Convergence due to Exploration and Sparsity
• Title（参考訳）: ランダムネットワークにおけるマルチエージェントQラーニングダイナミクス:探索とスパーシティによる収束
• Authors: Aamal Hussain, Dan Leonte, Francesco Belardinelli, Raphael Huser, Dario Paccagnan,
• Abstract要約: ネットワーク構造がランダムなグラフモデルから引き出されるネットワークポリマトリクスゲームにおけるQラーニングダイナミクスについて検討する。 各設定において、エージェントの合同戦略が一意の平衡に収束する十分な条件を確立する。 数値シミュレーションにより理論的知見を検証し,多エージェントシステムにおいて収束が確実に達成できることを実証する。
• 参考スコア（独自算出の注目度）: 5.925608009772727
• License:
• Abstract: Beyond specific settings, many multi-agent learning algorithms fail to converge to an equilibrium solution, and instead display complex, non-stationary behaviours such as recurrent or chaotic orbits. In fact, recent literature suggests that such complex behaviours are likely to occur when the number of agents increases. In this paper, we study Q-learning dynamics in network polymatrix games where the network structure is drawn from classical random graph models. In particular, we focus on the Erdos-Renyi model, a well-studied model for social networks, and the Stochastic Block model, which generalizes the above by accounting for community structures within the network. In each setting, we establish sufficient conditions under which the agents' joint strategies converge to a unique equilibrium. We investigate how this condition depends on the exploration rates, payoff matrices and, crucially, the sparsity of the network. Finally, we validate our theoretical findings through numerical simulations and demonstrate that convergence can be reliably achieved in many-agent systems, provided network sparsity is controlled.
• Abstract（参考訳）: 特定の設定を超えて、多くのマルチエージェント学習アルゴリズムは平衡解に収束せず、代わりにリカレントやカオス軌道のような複雑な非定常的な振る舞いを示す。 事実、近年の文献では、エージェントの数が増えるとこのような複雑な行動が起こる可能性が示唆されている。 本稿では,従来のランダムグラフモデルからネットワーク構造を抽出したネットワーク多分岐ゲームにおけるQラーニングダイナミクスについて検討する。 特に、ソーシャルネットワークのよく研究されたモデルであるErdos-Renyiモデルと、ネットワーク内のコミュニティ構造を考慮して上記を一般化するStochastic Blockモデルに焦点を当てる。 各設定において、エージェントの合同戦略が一意の平衡に収束する十分な条件を確立する。 本研究では,この条件が探索速度,ペイオフ行列,ネットワークの空間性にどのように依存するかを検討する。 最後に, 数値シミュレーションによる理論的結果の検証を行い, ネットワーク幅が制御された場合, 多数のエージェントシステムにおいて収束を確実に達成できることを実証する。

関連論文リスト

• Sample Complexity of Linear Regression Models for Opinion Formation in Networks [36.75032460874647]
  ネットワークにおける意見収束のサンプル複雑性について検討する。 我々のフレームワークは、認識された意見形成ゲームに基づいて構築されている。 人工ネットワークと実世界のネットワークの実証結果は、我々の理論的な発見を強く支えている。
  論文  参考訳（メタデータ） (2023-11-04T08:28:33Z)
• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Stability of Multi-Agent Learning: Convergence in Network Games with Many Players [34.33866138792406]
  我々はQ-Learning dynamicsについて研究し、ネットワークゲームにおいて力学が一意平衡に収束するのに十分な条件を決定する。 この結果を代表的ネットワークゲームで評価し、適切なネットワーク条件下では、任意の数のエージェントで安定した学習ダイナミクスを実現できることを示す。
  論文  参考訳（メタデータ） (2023-07-26T02:45:02Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• Generative Adversarial Network for Probabilistic Forecast of Random Dynamical System [19.742888499307178]
  本研究では,確率力学系のデータ駆動型シミュレーションのための深層学習モデルを提案する。 本稿では,逐次推論問題に対する一貫性条件に基づく生成逆数ネットワークの正規化戦略を提案する。 複雑な雑音構造を持つ3つのプロセスを用いて,提案モデルの挙動について検討した。
  論文  参考訳（メタデータ） (2021-11-04T19:50:56Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Tractably Modelling Dependence in Networks Beyond Exchangeability [0.0]
  本研究では, ネットワークの推定, クラスタリング, 次数挙動について検討する。 このことは、一般的には交換不能なネットワークデータをブロックモデルで記述できる理由と方法を探る。
  論文  参考訳（メタデータ） (2020-07-28T17:13:59Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)
• Time-invariant degree growth in preferential attachment network models [8.929656934088989]
  本稿では,ノードの適合度と老化を優先的に組み合わせたネットワークモデルのクラスにおける次数ダイナミクスについて検討する。 本研究は,ネットワークの一様成長と指数的成長という,2つの特別なネットワーク成長形態に対してのみ自己整合性を示す。
  論文  参考訳（メタデータ） (2020-01-22T16:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。