論文の概要: Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic

• arxiv url: http://arxiv.org/abs/2507.22174v1
• Date: Sun, 27 Jul 2025 08:00:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:17.828099
• Title: Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
• Title（参考訳）: 非マルコフ的トラフィックを考慮したネットワークルーティングのための時空間強化学習
• Authors: Molly Wang,
• Abstract要約: Reinforcement Learning (RL) は、通信ネットワークにおけるパケットルーティングを最適化するための確立されたアプローチとなっている。 グラフニューラルネットワーク(GNN)とリカレントニューラルネットワーク(RNN)を統合した時空間RL手法を提案する。 提案手法は従来のRL手法と比較して,ネットワークトポロジの変化に対して性能が優れ,頑健であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) has become a well-established approach for optimizing packet routing in communication networks. Standard RL algorithms typically are based on the Markov Decision Process (MDP), which assumes that the current state of the environment provides all the necessary information for system evolution and decision-making. However, this Markovian assumption is invalid in many practical scenarios, making the MDP and RL frameworks inadequate to produce the optimal solutions. Additionally, traditional RL algorithms often employ function approximations (e.g., by neural networks) that do not explicitly capture the spatial relationships inherent in environments with complex network topologies. Communication networks are characterized by dynamic traffic patterns and arbitrary numbers of nodes and links, which further complicate the decision-making process. To address these challenges, we propose a spatial-temporal RL approach that integrates Graph Neural Networks (GNNs) and Recurrent Neural Networks (RNNs) to adequately capture the spatial dynamics regarding network topology and temporal traffic patterns, respectively, to enhance routing decisions. Our evaluation demonstrates that the proposed method outperforms and is more robust to changes in the network topology when compared with traditional RL techniques.
• Abstract（参考訳）: Reinforcement Learning (RL) は、通信ネットワークにおけるパケットルーティングを最適化するための確立されたアプローチとなっている。 標準的なRLアルゴリズムは通常、マルコフ決定プロセス(MDP)に基づいており、環境の現在の状態がシステムの進化と意思決定に必要なすべての情報を提供すると仮定する。 しかし、このマルコフの仮定は多くの現実的なシナリオでは無効であり、MDPとRLのフレームワークは最適解を生成するのに不十分である。 さらに、従来のRLアルゴリズムでは、複雑なネットワークトポロジを持つ環境に固有の空間関係を明示的に捉えない関数近似(例えばニューラルネットワーク)を用いることが多い。 通信ネットワークは動的トラフィックパターンと任意のノード数とリンクによって特徴づけられ、決定プロセスはさらに複雑になる。 これらの課題に対処するために,グラフニューラルネットワーク(GNN)とリカレントニューラルネットワーク(RNN)を統合した空間時空間RLアプローチを提案し,ネットワークトポロジと時間的トラフィックパターンに関する空間的ダイナミクスを適切に把握し,ルーティング決定を強化する。 提案手法は従来のRL手法と比較して,ネットワークトポロジの変化に対して性能が優れ,頑健であることを示す。

関連論文リスト

• Opportunistic Routing in Wireless Communications via Learnable State-Augmented Policies [7.512221808783587]
  本稿では,大規模無線通信ネットワークにおけるパケットベースの情報ルーティングの課題に対処する。 機会的ルーティングは、無線通信の放送特性を利用して、最適な転送ノードを動的に選択する。 ネットワーク内のソースノードが処理する全情報の最大化を目的とした,状態拡張(SA)に基づく分散最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:56Z)
• Improving Traffic Flow Predictions with SGCN-LSTM: A Hybrid Model for Spatial and Temporal Dependencies [55.2480439325792]
  本稿ではSGCN-LSTM(Signal-Enhanced Graph Convolutional Network Long Short Term Memory)モデルを提案する。 PEMS-BAYロードネットワークトラフィックデータセットの実験は、SGCN-LSTMモデルの有効性を示す。
  論文  参考訳（メタデータ） (2024-11-01T00:37:00Z)
• Intelligent Routing Algorithm over SDN: Reusable Reinforcement Learning Approach [1.799933345199395]
  本稿では,再利用可能なRLSRルーティングアルゴリズム RLSR-Routing をSDN上で開発する。 我々のアルゴリズムは従来の手法よりもロードバランシングの点で優れた性能を示している。 また、複数のトラフィック要求のパスを見つける際には、再利用不可能なRLアプローチよりも早く収束する。
  論文  参考訳（メタデータ） (2024-09-23T17:15:24Z)
• Intelligent Hybrid Resource Allocation in MEC-assisted RAN Slicing Network [72.2456220035229]
  我々は,協調型MEC支援RANスライシングシステムにおける異種サービス要求に対するSSRの最大化を目指す。 最適ハイブリッドRAポリシーをインテリジェントに学習するためのRGRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-02T01:36:13Z)
• A Deep Reinforcement Learning Approach for Adaptive Traffic Routing in Next-gen Networks [1.1586742546971471]
  次世代ネットワークは、トラフィックダイナミクスに基づいたネットワーク構成を自動化し、適応的に調整する必要がある。 交通政策を決定する伝統的な手法は、通常は手作りのプログラミング最適化とアルゴリズムに基づいている。 我々は適応的なトラフィックルーティングのための深層強化学習(DRL)アプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-07T01:48:29Z)
• Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph Reinforcement Learning [42.175067773481416]
  我々は,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。 具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。 拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。
  論文  参考訳（メタデータ） (2023-11-07T06:43:15Z)
• Learning State-Augmented Policies for Information Routing in Communication Networks [84.76186111434818]
  我々は,グラフニューラルネットワーク(GNN)アーキテクチャを用いて,ソースノードの集約情報を最大化する,新たなステート拡張(SA)戦略を開発した。 教師なし学習手法を利用して、GNNアーキテクチャの出力を最適情報ルーティング戦略に変換する。 実験では,実時間ネットワークトポロジの評価を行い,アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-30T04:34:25Z)
• An Intelligent SDWN Routing Algorithm Based on Network Situational Awareness and Deep Reinforcement Learning [4.085916808788356]
  本稿では、ネットワーク状況認識による深層強化学習に基づくインテリジェントルーティングアルゴリズム(DRL-PPONSA)を紹介する。 実験の結果,DRL-PPONSAはネットワークスループット,遅延,パケット損失率,無線ノード距離において従来のルーティング手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-12T14:18:09Z)
• Robust Path Selection in Software-defined WANs using Deep Reinforcement Learning [18.586260468459386]
  本稿では、経路計算と経路更新のオーバーヘッドを考慮した、ネットワーク内の経路選択を行うデータ駆動アルゴリズムを提案する。 提案手法は,ECMPなどの従来のTE方式に比べてリンク利用率を40%削減できる。
  論文  参考訳（メタデータ） (2022-12-21T16:08:47Z)
• Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control [37.54493447920386]
  非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。 分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。 本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-04T07:39:21Z)
• Deep Reinforcement Learning Aided Packet-Routing For Aeronautical Ad-Hoc Networks Formed by Passenger Planes [99.54065757867554]
  エンド・ツー・エンド(E2E)遅延の最小化を目的としたAANETにおけるルーティングのための深層強化学習を起動する。 最深Qネットワーク(DQN)は、転送ノードで観測される最適ルーティング決定と局所的な地理的情報との関係をキャプチャする。 フィードバック機構を組み込んだディープバリューネットワーク(DVN)を用いて,システムのダイナミクスに関する知識をさらに活用する。
  論文  参考訳（メタデータ） (2021-10-28T14:18:56Z)
• Deep Learning Aided Packet Routing in Aeronautical Ad-Hoc Networks Relying on Real Flight Data: From Single-Objective to Near-Pareto Multi-Objective Optimization [79.96177511319713]
  航空アドホックネットワーク(AANET)のルーティングを支援するために、ディープラーニング(DL)を起動する。 フォワードノードによって観測された局所的な地理的情報を最適な次のホップを決定するために必要な情報にマッピングするために、ディープニューラルネットワーク(DNN)が考案される。 DL支援ルーティングアルゴリズムを多目的シナリオに拡張し,遅延を最小化し,経路容量を最大化し,経路寿命を最大化する。
  論文  参考訳（メタデータ） (2021-10-28T14:18:22Z)
• Road Network Guided Fine-Grained Urban Traffic Flow Inference [108.64631590347352]
  粗いトラフィックからのきめ細かなトラフィックフローの正確な推測は、新たな重要な問題である。 本稿では,道路ネットワークの知識を活かした新しい道路対応交通流磁化器(RATFM)を提案する。 提案手法は,高品質なトラフィックフローマップを作成できる。
  論文  参考訳（メタデータ） (2021-09-29T07:51:49Z)
• Packet Routing with Graph Attention Multi-agent Reinforcement Learning [4.78921052969006]
  我々は強化学習(RL)を利用したモデルフリーでデータ駆動型ルーティング戦略を開発する。 ネットワークトポロジのグラフ特性を考慮すると、グラフニューラルネットワーク(GNN)と組み合わせたマルチエージェントRLフレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-28T06:20:34Z)
• Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
  本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。 我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
  論文  参考訳（メタデータ） (2021-06-15T09:03:28Z)
• Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks [119.81868223344173]
  本稿では,自由空間光(FSO)フロントホールネットワークにおける最適資源割り当てについて検討する。 我々は、FSOネットワーク構造を利用するために、ポリシーパラメータ化のためのグラフニューラルネットワーク(GNN)を検討する。 本アルゴリズムは,システムモデルに関する知識が不要なモデルフリーでGNNを訓練するために開発された。
  論文  参考訳（メタデータ） (2020-06-26T14:20:48Z)
• DANR: Discrepancy-aware Network Regularization [15.239252118069762]
  ネットワーク正規化は、ネットワーク上のコヒーレントモデルを学習するための効果的なツールである。 本稿では,正規化が不十分で,時間的ネットワーク上でのモデル進化と構造変化を効果的に捉える新しい手法を提案する。 本研究では,乗算器の交互化法(ADMM)に基づくスケーラブルでスケーラブルなアルゴリズムを開発し,大域的最適解への収束を保証する。
  論文  参考訳（メタデータ） (2020-05-31T02:01:19Z)
• Constructing Geographic and Long-term Temporal Graph for Traffic Forecasting [88.5550074808201]
  交通予測のための地理・長期時間グラフ畳み込み型ニューラルネットワーク(GLT-GCRNN)を提案する。 本研究では,地理的・長期的時間的パターンを共有する道路間のリッチな相互作用を学習する交通予測のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-23T03:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。