論文の概要: Graph Reinforcement Learning for Network Control via Bi-Level Optimization

• arxiv url: http://arxiv.org/abs/2305.09129v1
• Date: Tue, 16 May 2023 03:20:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-17 16:33:33.838210
• Title: Graph Reinforcement Learning for Network Control via Bi-Level Optimization
• Title（参考訳）: バイレベル最適化によるネットワーク制御のためのグラフ強化学習
• Authors: Daniele Gammelli, James Harrison, Kaidi Yang, Marco Pavone, Filipe Rodrigues, Francisco C. Pereira
• Abstract要約: 我々は、データ駆動戦略がこのプロセスを自動化し、最適性を損なうことなく効率的なアルゴリズムを学習できると主張している。 我々は、強化学習のレンズを通してネットワーク制御の問題を提示し、幅広い問題に対処するグラフネットワークベースのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 37.00510744883984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimization problems over dynamic networks have been extensively studied and widely used in the past decades to formulate numerous real-world problems. However, (1) traditional optimization-based approaches do not scale to large networks, and (2) the design of good heuristics or approximation algorithms often requires significant manual trial-and-error. In this work, we argue that data-driven strategies can automate this process and learn efficient algorithms without compromising optimality. To do so, we present network control problems through the lens of reinforcement learning and propose a graph network-based framework to handle a broad class of problems. Instead of naively computing actions over high-dimensional graph elements, e.g., edges, we propose a bi-level formulation where we (1) specify a desired next state via RL, and (2) solve a convex program to best achieve it, leading to drastically improved scalability and performance. We further highlight a collection of desirable features to system designers, investigate design decisions, and present experiments on real-world control problems showing the utility, scalability, and flexibility of our framework.
• Abstract（参考訳）: 動的ネットワーク上の最適化問題は、過去数十年で多くの実世界の問題を定式化するために広く研究され、広く利用されている。 しかし,(1) 従来の最適化手法は大規模ネットワークにスケールしないため,(2) 優れたヒューリスティックや近似アルゴリズムの設計には手動による試行錯誤が必要となることが多い。 本研究では,データ駆動型戦略が最適性を損なうことなく,このプロセスを自動化し,効率的なアルゴリズムを学習できると主張している。 そこで本研究では,強化学習のレンズを通してネットワーク制御の問題を提示し,幅広い問題を扱うグラフネットワークベースのフレームワークを提案する。 エッジなどの高次元グラフ要素上での動作をネーティブに計算する代わりに,(1)RLを介して所望の次状態を指定し,(2)凸プログラムを解くことにより,スケーラビリティと性能が大幅に向上する,という2段階の定式化を提案する。 さらに,システム設計者に対して望ましい機能の収集,設計判断の検証,フレームワークの実用性,スケーラビリティ,柔軟性を示す実世界の制御問題に関する実験を行った。

関連論文リスト

• Decision-focused Graph Neural Networks for Combinatorial Optimization [62.34623670845006]
  最適化問題に取り組むための新たな戦略は、従来のアルゴリズムに代わるグラフニューラルネットワーク(GNN)の採用である。 GNNや従来のアルゴリズムソルバがCOの領域で人気が高まっているにもかかわらず、それらの統合利用とエンドツーエンドフレームワークにおけるそれらの相関について限定的な研究がなされている。 我々は、GNNを利用してCO問題に補助的なサポートで対処する決定に焦点を当てたフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-05T22:52:27Z)
• Network Interdiction Goes Neural [26.308933674471895]
  ネットワーク断面積問題は、2人のプレイヤーが関与する最適化問題である。 1つは、ネットワーク上の最適化問題を解決することを目的としており、もう1つは、最初のプレイヤーの目的を阻止するためにネットワークを変更することを目的としている。
  論文  参考訳（メタデータ） (2024-05-26T02:34:26Z)
• GASE: Graph Attention Sampling with Edges Fusion for Solving Vehicle Routing Problems [6.084414764415137]
  車両のルーティング問題を解決するためにEdges Fusionフレームワークを用いた適応型グラフ注意サンプリングを提案する。 提案手法は,既存の手法を2.08%-6.23%上回り,より強力な一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-21T03:33:07Z)
• A hybrid deep-learning-metaheuristic framework for bi-level network design problems [2.741266294612776]
  本研究では,道路ネットワーク設計問題(NDP)のための双方向アーキテクチャを用いたハイブリッドディープラーニング・メタヒューリスティックフレームワークを提案する。 我々は、ユーザ均衡(UE)トラフィック割り当て問題の解を近似するために、グラフニューラルネットワーク(GNN)を訓練する。 遺伝的アルゴリズム(GA)の適合度関数評価の計算にトレーニングモデルを用いて,NDPの解を近似する。
  論文  参考訳（メタデータ） (2023-03-10T16:23:56Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• MultiScale MeshGraphNets [65.26373813797409]
  我々はMeshGraphNetsからフレームワークを改善するための2つの補完的なアプローチを提案する。 まず、より粗いメッシュ上で高解像度システムの正確なサロゲートダイナミクスを学習できることを実証する。 次に、2つの異なる解像度でメッセージを渡す階層的アプローチ(MultiScale MeshGraphNets)を導入する。
  論文  参考訳（メタデータ） (2022-10-02T20:16:20Z)
• Analysis and Design of Quadratic Neural Networks for Regression, Classification, and Lyapunov Control of Dynamical Systems [0.0]
  本稿では,2次ニューラルネットワークの解析と設計について述べる。 ネットワークにはいくつかの利点があり、最も重要なのはアーキテクチャが設計の副産物であり、アプリオリではないという事実である。 いくつかの例では、アプリケーションにおける二次ニューラルネットワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-07-26T18:10:05Z)
• On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network [55.56019538079826]
  バイレベル最適化は、幅広い機械学習モデルに適用されている。 既存のアルゴリズムの多くは、分散データを扱うことができないように、シングルマシンの設定を制限している。 そこで我々は,勾配追跡通信機構と2つの異なる勾配に基づく分散二段階最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-30T05:29:52Z)
• A Bi-Level Framework for Learning to Solve Combinatorial Optimization on Graphs [91.07247251502564]
  本稿では,2つの世界の長所を結合するハイブリッドな手法を提案する。この手法では,グラフを最適化する上層学習手法とバイレベルフレームワークを開発する。 このような二段階のアプローチは、元のハードCOでの学習を単純化し、モデルキャパシティの需要を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2021-06-09T09:18:18Z)
• Optimizing Wireless Systems Using Unsupervised and Reinforced-Unsupervised Deep Learning [96.01176486957226]
  無線ネットワークにおけるリソース割り当てとトランシーバーは、通常最適化問題の解決によって設計される。 本稿では,変数最適化と関数最適化の両問題を解くための教師なし・教師なし学習フレームワークを紹介する。
  論文  参考訳（メタデータ） (2020-01-03T11:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。