論文の概要: Learning Regularized Graphon Mean-Field Games with Unknown Graphons
- arxiv url: http://arxiv.org/abs/2310.17531v1
- Date: Thu, 26 Oct 2023 16:19:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-27 19:17:46.001426
- Title: Learning Regularized Graphon Mean-Field Games with Unknown Graphons
- Title（参考訳）: 未知グラフを用いた正規化グラフェン平均場ゲーム学習
- Authors: Fengzhuo Zhang, Vincent Y. F. Tan, Zhaoran Wang, Zhuoran Yang
- Abstract要約: グラフィック平均フィールドゲーム(GMFG)のための強化学習アルゴリズムを設計する。
我々は、正規化されたGMFGのナッシュ平衡(NE)を、グラフンが未知のときに学習することを目指している。
これらのアルゴリズムは、サンプルエージェントからグラモンを学習するために設計された最初のものである。
- 参考スコア（独自算出の注目度）: 155.38727464526923
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We design and analyze reinforcement learning algorithms for Graphon
Mean-Field Games (GMFGs). In contrast to previous works that require the
precise values of the graphons, we aim to learn the Nash Equilibrium (NE) of
the regularized GMFGs when the graphons are unknown. Our contributions are
threefold. First, we propose the Proximal Policy Optimization for GMFG
(GMFG-PPO) algorithm and show that it converges at a rate of $O(T^{-1/3})$
after $T$ iterations with an estimation oracle, improving on a previous work by
Xie et al. (ICML, 2021). Second, using kernel embedding of distributions, we
design efficient algorithms to estimate the transition kernels, reward
functions, and graphons from sampled agents. Convergence rates are then derived
when the positions of the agents are either known or unknown. Results for the
combination of the optimization algorithm GMFG-PPO and the estimation algorithm
are then provided. These algorithms are the first specifically designed for
learning graphons from sampled agents. Finally, the efficacy of the proposed
algorithms are corroborated through simulations. These simulations demonstrate
that learning the unknown graphons reduces the exploitability effectively.
- Abstract（参考訳）: グラフ平均フィールドゲーム(GMFG)のための強化学習アルゴリズムの設計と解析を行う。
グラフェンの正確な値を必要とする以前の研究とは対照的に、グラトンが未知である場合、正規化gmfgsのnash平衡(ne)を学習することを目指している。
私たちの貢献は3倍です。
まず,GMFG (GMFG-PPO) アルゴリズムの近似ポリシ最適化を提案し,推定オラクルを用いた$T$反復後の$O(T^{-1/3})$で収束し,Xie et al. (ICML, 2021) による以前の研究を改善したことを示す。
第2に,分布のカーネル埋め込みを用いて,サンプルエージェントから遷移カーネル,報酬関数,およびグラフを推定する効率的なアルゴリズムを設計する。
収束率は、エージェントの位置が知られているか未知であるときに導かれる。
最適化アルゴリズムGMFG-PPOと推定アルゴリズムの組み合わせの結果が提供される。
これらのアルゴリズムは、サンプルエージェントからグラモンを学習するために設計された最初のものである。
最後に,提案アルゴリズムの有効性をシミュレーションにより検証する。
これらのシミュレーションは、未知のグラノンの学習が効果的に悪用性を減少させることを示した。
関連論文リスト
- Amplify Graph Learning for Recommendation via Sparsity Completion [16.32861024767423]
グラフ学習モデルは、協調フィルタリング(CF)ベースのレコメンデーションシステムに広くデプロイされている。
データ疎度の問題により、元の入力のグラフ構造は潜在的な肯定的な嗜好エッジを欠いている。
AGL-SC(Amplify Graph Learning framework)を提案する。
論文 参考訳（メタデータ） (2024-06-27T08:26:20Z) - A Differentially Private Clustering Algorithm for Well-Clustered Graphs [6.523602840064548]
このようなグラフに特化された効率的な(epsilon,$delta$)-DPアルゴリズムを提供する。
我々のアルゴリズムは、ほぼバランスの取れたクラスタに対して$k$のグラフを扱う。
論文 参考訳（メタデータ） (2024-03-21T11:57:16Z) - Learning Regularized Monotone Graphon Mean-Field Games [155.38727464526923]
正規化グラフィオン平均フィールドゲーム(GMFG)の基本問題について検討する。
我々は、$lambda$-regularized GMFG の Nash Equilibrium (NE) の存在を確立する。
弱い単調なGMFGでNEを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-12T07:34:13Z) - Graph Signal Sampling for Inductive One-Bit Matrix Completion: a
Closed-form Solution [112.3443939502313]
グラフ信号解析と処理の利点を享受する統合グラフ信号サンプリングフレームワークを提案する。
キーとなる考え方は、各ユーザのアイテムのレーティングをアイテムイットグラフの頂点上の関数(信号)に変換することである。
オンライン設定では、グラフフーリエ領域における連続ランダムガウス雑音を考慮したベイズ拡張(BGS-IMC)を開発する。
論文 参考訳（メタデータ） (2023-02-08T08:17:43Z) - Learning Graphon Autoencoders for Generative Graph Modeling [91.32624399902755]
Graphonは任意のサイズでグラフを生成する非パラメトリックモデルであり、グラフから簡単に誘導できる。
解析可能でスケーラブルなグラフ生成モデルを構築するために,textitgraphon autoencoder という新しいフレームワークを提案する。
線形グルーポン分解モデルはデコーダとして機能し、潜在表現を活用して誘導されたグルーポンを再構成する。
論文 参考訳（メタデータ） (2021-05-29T08:11:40Z) - Correcting Momentum with Second-order Information [50.992629498861724]
最適積に$O(epsilon)$epsilon点を求める非臨界最適化のための新しいアルゴリズムを開発した。
我々は、さまざまな大規模ディープラーニングベンチマークとアーキテクチャで結果を検証する。
論文 参考訳（メタデータ） (2021-03-04T19:01:20Z) - Adaptive Graph Encoder for Attributed Graph Embedding [36.06427854846497]
分散グラフ埋め込みは、グラフトポロジとノード特徴からベクトル表現を学ぶ。
本稿では,新しい属性グラフ埋め込みフレームワークであるAdaptive Graph(AGE)を提案する。
4つの公開ベンチマークデータセットを用いてノードクラスタリングとリンク予測タスクのAGEを検証する実験を行った。
論文 参考訳（メタデータ） (2020-07-03T10:20:34Z) - Learning Sparse Graphons and the Generalized Kesten-Stigum Threshold [21.044900734651627]
本論文は,一定の期待次数条件下でグラノンを学習するための効率的なアルゴリズムを提供する。
このアルゴリズムは、グラフンの上位$k$固有値が一般化ケステン・スティグム条件を満たす場合、$L$計量におけるグラフンのランク-$k$射影を推定することに成功した。
論文 参考訳（メタデータ） (2020-06-13T18:38:05Z) - Heuristic Semi-Supervised Learning for Graph Generation Inspired by
Electoral College [80.67842220664231]
本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。
テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2020-06-10T14:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。