論文の概要: Non-Linear Coordination Graphs
- arxiv url: http://arxiv.org/abs/2211.08404v1
- Date: Wed, 26 Oct 2022 18:11:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 14:16:32.821830
- Title: Non-Linear Coordination Graphs
- Title(参考訳): 非線形コーディネーショングラフ
- Authors: Yipeng Kang, Tonghan Wang, Xiaoran Wu, Qianlan Yang, Chongjie Zhang
- Abstract要約: 座標グラフ(CG)は、ペアのペイオフ関数を組み込んだ高次分解を表す。
CG値の分解を線形の場合を超えて拡張することにより、最初の非線形座標グラフを提案する。
提案手法は,MACOのようなマルチエージェント協調タスクにおいて,優れた性能を実現することができる。
- 参考スコア(独自算出の注目度): 22.29517436920317
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Value decomposition multi-agent reinforcement learning methods learn the
global value function as a mixing of each agent's individual utility functions.
Coordination graphs (CGs) represent a higher-order decomposition by
incorporating pairwise payoff functions and thus is supposed to have a more
powerful representational capacity. However, CGs decompose the global value
function linearly over local value functions, severely limiting the complexity
of the value function class that can be represented. In this paper, we propose
the first non-linear coordination graph by extending CG value decomposition
beyond the linear case. One major challenge is to conduct greedy action
selections in this new function class to which commonly adopted DCOP algorithms
are no longer applicable. We study how to solve this problem when mixing
networks with LeakyReLU activation are used. An enumeration method with a
global optimality guarantee is proposed and motivates an efficient iterative
optimization method with a local optimality guarantee. We find that our method
can achieve superior performance on challenging multi-agent coordination tasks
like MACO.
- Abstract(参考訳): 値分解多エージェント強化学習法は,各エージェントの個々のユーティリティ関数の混合としてグローバル値関数を学習する。
座標グラフ(CG)はペアのペイオフ関数を組み込むことで高次分解を表現するため、より強力な表現能力を持つと考えられる。
しかし、CGは局所値関数に対して線形に大域値関数を分解し、表現できる値関数クラスの複雑さを著しく制限する。
本稿では,CG値の分解を線形ケースを超えて拡張することにより,最初の非線形座標グラフを提案する。
一つの大きな課題は、一般的に採用されているdcopアルゴリズムがもはや適用されない新しい関数クラスで欲張りなアクション選択を行うことである。
我々は、LeakyReLUアクティベーションとネットワークを混合する際のこの問題の解法について検討する。
大域的最適性保証付き列挙法を提案し、局所最適性保証付き効率的な反復最適化法を動機付ける。
提案手法は,MACOのようなマルチエージェント協調タスクにおいて,優れた性能を実現することができる。
関連論文リスト
- APGL4SR: A Generic Framework with Adaptive and Personalized Global
Collaborative Information in Sequential Recommendation [86.29366168836141]
逐次推薦のための適応およびパーソナライズされたグラフ学習(APGL4SR)というグラフ駆動型フレームワークを提案する。
APGL4SRは、適応的でパーソナライズされたグローバルな協調情報をシーケンシャルレコメンデーションシステムに組み込む。
一般的なフレームワークとして、APGL4SRは大きなマージンを持つ他のベースラインよりも優れている。
論文 参考訳(メタデータ) (2023-11-06T01:33:24Z) - Practical First-Order Bayesian Optimization Algorithms [0.0]
本稿では,勾配GPからの情報を効率よく活用して,ゼロ勾配の潜在的な問合せ点を同定する,実用的なFOBOアルゴリズムのクラスを提案する。
提案アルゴリズムの性能をいくつかのテスト関数で検証し,提案アルゴリズムが最先端のFOBOアルゴリズムより優れていることを示す。
論文 参考訳(メタデータ) (2023-06-19T10:05:41Z) - Greedy based Value Representation for Optimal Coordination in
Multi-agent Reinforcement Learning [64.05646120624287]
LVDとMVDの結合Q値関数を導出する。
最適な整合性を確保するために、最適なノードは独自のSTNである必要がある。
本手法は,様々なベンチマーク実験において,最先端のベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-22T08:14:50Z) - Min-Max Bilevel Multi-objective Optimization with Applications in
Machine Learning [30.25074797092709]
本稿では,min-maxバイレベル多目的最適化フレームワークを提案する。
表現学習と超目的学習の応用を強調している。
論文 参考訳(メタデータ) (2022-03-03T18:56:13Z) - Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。
本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。
我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
論文 参考訳(メタデータ) (2022-02-13T10:54:59Z) - Self-Organized Polynomial-Time Coordination Graphs [21.02670428540549]
コーディネーショングラフは強化学習におけるモデルエージェント協調に対する有望なアプローチである。
このパラダイムの課題の1つは、グラフベースの値分解のための最大値アクションの計算の複雑さである。
本稿では,自己組織型多項式時間座標グラフ (SOP-CG) という新しい手法を提案する。
論文 参考訳(メタデータ) (2021-12-07T07:42:40Z) - A Bi-Level Framework for Learning to Solve Combinatorial Optimization on
Graphs [91.07247251502564]
本稿では,2つの世界の長所を結合するハイブリッドな手法を提案する。この手法では,グラフを最適化する上層学習手法とバイレベルフレームワークを開発する。
このような二段階のアプローチは、元のハードCOでの学習を単純化し、モデルキャパシティの需要を効果的に軽減することができる。
論文 参考訳(メタデータ) (2021-06-09T09:18:18Z) - Deep Reinforcement Learning of Graph Matching [63.469961545293756]
ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。
GMのための強化学習ソルバを提案する。
rgmはペアワイズグラフ間のノード対応を求める。
本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
論文 参考訳(メタデータ) (2020-12-16T13:48:48Z) - Linear Convergence of Distributed Mirror Descent with Integral Feedback
for Strongly Convex Problems [11.498089180181365]
本研究では,局所的な勾配情報を用いて最適解に収束する連続時間分散ミラー降下法について検討する。
アルゴリズムが実際に(局所的な)指数収束を達成することを証明している。
論文 参考訳(メタデータ) (2020-11-24T17:27:27Z) - A Multi-Agent Primal-Dual Strategy for Composite Optimization over
Distributed Features [52.856801164425086]
目的関数を滑らかな局所関数と凸(おそらく非滑らか)結合関数の和とするマルチエージェント共有最適化問題について検討する。
論文 参考訳(メタデータ) (2020-06-15T19:40:24Z) - Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2020-03-10T03:46:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。