論文の概要: Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic

• arxiv url: http://arxiv.org/abs/2507.22174v2
• Date: Thu, 31 Jul 2025 17:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 13:02:07.717428
• Title: Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
• Title（参考訳）: 非マルコフ的トラフィックを考慮したネットワークルーティングのための時空間強化学習
• Authors: Molly Wang, Kin. K Leung,
• Abstract要約: 本稿では,パケットルーティングのための空間時空間RL(STRL)フレームワークを提案する。 ネットワークトポロジの変化にもかかわらず、トレーニング中に従来のベースラインを19%以上、推論で7%以上上回りました。
• 参考スコア（独自算出の注目度）: 2.9228846099569283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) has been widely used for packet routing in communication networks, but traditional RL methods rely on the Markov assumption that the current state contains all necessary information for decision-making. In reality, internet traffic is non-Markovian, and past states do influence routing performance. Moreover, common deep RL approaches use function approximators, such as neural networks, that do not model the spatial structure in network topologies. To address these shortcomings, we design a network environment with non-Markovian traffic and introduce a spatial-temporal RL (STRL) framework for packet routing. Our approach outperforms traditional baselines by more than 19% during training and 7% for inference despite a change in network topology.
• Abstract（参考訳）: Reinforcement Learning (RL) は、通信ネットワークにおけるパケットルーティングに広く使われているが、従来のRL手法は、現在の状態が意思決定に必要な情報全てを含んでいるというマルコフの仮定に依存している。 実際には、インターネットトラフィックはマルコフ的ではなく、過去の州はルーティング性能に影響を与える。 さらに、一般的な深層RLアプローチでは、ネットワークトポロジの空間構造をモデル化しないニューラルネットワークのような関数近似を用いている。 これらの欠点に対処するために,非マルコフトラフィックのネットワーク環境を設計し,パケットルーティングのための空間時空間RL(STRL)フレームワークを導入する。 ネットワークトポロジの変化にもかかわらず、トレーニング中に従来のベースラインを19%以上、推論で7%以上上回りました。

関連論文リスト

• Opportunistic Routing in Wireless Communications via Learnable State-Augmented Policies [7.512221808783587]
  本稿では,大規模無線通信ネットワークにおけるパケットベースの情報ルーティングの課題に対処する。 機会的ルーティングは、無線通信の放送特性を利用して、最適な転送ノードを動的に選択する。 ネットワーク内のソースノードが処理する全情報の最大化を目的とした,状態拡張(SA)に基づく分散最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:56Z)
• Improving Traffic Flow Predictions with SGCN-LSTM: A Hybrid Model for Spatial and Temporal Dependencies [55.2480439325792]
  本稿ではSGCN-LSTM(Signal-Enhanced Graph Convolutional Network Long Short Term Memory)モデルを提案する。 PEMS-BAYロードネットワークトラフィックデータセットの実験は、SGCN-LSTMモデルの有効性を示す。
  論文  参考訳（メタデータ） (2024-11-01T00:37:00Z)
• Intelligent Routing Algorithm over SDN: Reusable Reinforcement Learning Approach [1.799933345199395]
  本稿では,再利用可能なRLSRルーティングアルゴリズム RLSR-Routing をSDN上で開発する。 我々のアルゴリズムは従来の手法よりもロードバランシングの点で優れた性能を示している。 また、複数のトラフィック要求のパスを見つける際には、再利用不可能なRLアプローチよりも早く収束する。
  論文  参考訳（メタデータ） (2024-09-23T17:15:24Z)
• Intelligent Hybrid Resource Allocation in MEC-assisted RAN Slicing Network [72.2456220035229]
  我々は,協調型MEC支援RANスライシングシステムにおける異種サービス要求に対するSSRの最大化を目指す。 最適ハイブリッドRAポリシーをインテリジェントに学習するためのRGRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-02T01:36:13Z)
• A Deep Reinforcement Learning Approach for Adaptive Traffic Routing in Next-gen Networks [1.1586742546971471]
  次世代ネットワークは、トラフィックダイナミクスに基づいたネットワーク構成を自動化し、適応的に調整する必要がある。 交通政策を決定する伝統的な手法は、通常は手作りのプログラミング最適化とアルゴリズムに基づいている。 我々は適応的なトラフィックルーティングのための深層強化学習(DRL)アプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-07T01:48:29Z)
• Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph Reinforcement Learning [42.175067773481416]
  我々は,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。 具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。 拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。
  論文  参考訳（メタデータ） (2023-11-07T06:43:15Z)
• Learning State-Augmented Policies for Information Routing in Communication Networks [84.76186111434818]
  我々は,グラフニューラルネットワーク(GNN)アーキテクチャを用いて,ソースノードの集約情報を最大化する,新たなステート拡張(SA)戦略を開発した。 教師なし学習手法を利用して、GNNアーキテクチャの出力を最適情報ルーティング戦略に変換する。 実験では,実時間ネットワークトポロジの評価を行い,アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-30T04:34:25Z)
• An Intelligent SDWN Routing Algorithm Based on Network Situational Awareness and Deep Reinforcement Learning [4.085916808788356]
  本稿では、ネットワーク状況認識による深層強化学習に基づくインテリジェントルーティングアルゴリズム(DRL-PPONSA)を紹介する。 実験の結果,DRL-PPONSAはネットワークスループット,遅延,パケット損失率,無線ノード距離において従来のルーティング手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-05-12T14:18:09Z)
• Robust Path Selection in Software-defined WANs using Deep Reinforcement Learning [18.586260468459386]
  本稿では、経路計算と経路更新のオーバーヘッドを考慮した、ネットワーク内の経路選択を行うデータ駆動アルゴリズムを提案する。 提案手法は,ECMPなどの従来のTE方式に比べてリンク利用率を40%削減できる。
  論文  参考訳（メタデータ） (2022-12-21T16:08:47Z)
• Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control [37.54493447920386]
  非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。 分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。 本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-04T07:39:21Z)
• Deep Reinforcement Learning Aided Packet-Routing For Aeronautical Ad-Hoc Networks Formed by Passenger Planes [99.54065757867554]
  エンド・ツー・エンド(E2E)遅延の最小化を目的としたAANETにおけるルーティングのための深層強化学習を起動する。 最深Qネットワーク(DQN)は、転送ノードで観測される最適ルーティング決定と局所的な地理的情報との関係をキャプチャする。 フィードバック機構を組み込んだディープバリューネットワーク(DVN)を用いて,システムのダイナミクスに関する知識をさらに活用する。
  論文  参考訳（メタデータ） (2021-10-28T14:18:56Z)
• Deep Learning Aided Packet Routing in Aeronautical Ad-Hoc Networks Relying on Real Flight Data: From Single-Objective to Near-Pareto Multi-Objective Optimization [79.96177511319713]
  航空アドホックネットワーク(AANET)のルーティングを支援するために、ディープラーニング(DL)を起動する。 フォワードノードによって観測された局所的な地理的情報を最適な次のホップを決定するために必要な情報にマッピングするために、ディープニューラルネットワーク(DNN)が考案される。 DL支援ルーティングアルゴリズムを多目的シナリオに拡張し,遅延を最小化し,経路容量を最大化し,経路寿命を最大化する。
  論文  参考訳（メタデータ） (2021-10-28T14:18:22Z)
• Road Network Guided Fine-Grained Urban Traffic Flow Inference [108.64631590347352]
  粗いトラフィックからのきめ細かなトラフィックフローの正確な推測は、新たな重要な問題である。 本稿では,道路ネットワークの知識を活かした新しい道路対応交通流磁化器(RATFM)を提案する。 提案手法は,高品質なトラフィックフローマップを作成できる。
  論文  参考訳（メタデータ） (2021-09-29T07:51:49Z)
• Packet Routing with Graph Attention Multi-agent Reinforcement Learning [4.78921052969006]
  我々は強化学習(RL)を利用したモデルフリーでデータ駆動型ルーティング戦略を開発する。 ネットワークトポロジのグラフ特性を考慮すると、グラフニューラルネットワーク(GNN)と組み合わせたマルチエージェントRLフレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-28T06:20:34Z)
• Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
  本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。 我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
  論文  参考訳（メタデータ） (2021-06-15T09:03:28Z)
• Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks [119.81868223344173]
  本稿では,自由空間光(FSO)フロントホールネットワークにおける最適資源割り当てについて検討する。 我々は、FSOネットワーク構造を利用するために、ポリシーパラメータ化のためのグラフニューラルネットワーク(GNN)を検討する。 本アルゴリズムは,システムモデルに関する知識が不要なモデルフリーでGNNを訓練するために開発された。
  論文  参考訳（メタデータ） (2020-06-26T14:20:48Z)
• DANR: Discrepancy-aware Network Regularization [15.239252118069762]
  ネットワーク正規化は、ネットワーク上のコヒーレントモデルを学習するための効果的なツールである。 本稿では,正規化が不十分で,時間的ネットワーク上でのモデル進化と構造変化を効果的に捉える新しい手法を提案する。 本研究では,乗算器の交互化法(ADMM)に基づくスケーラブルでスケーラブルなアルゴリズムを開発し,大域的最適解への収束を保証する。
  論文  参考訳（メタデータ） (2020-05-31T02:01:19Z)
• Constructing Geographic and Long-term Temporal Graph for Traffic Forecasting [88.5550074808201]
  交通予測のための地理・長期時間グラフ畳み込み型ニューラルネットワーク(GLT-GCRNN)を提案する。 本研究では,地理的・長期的時間的パターンを共有する道路間のリッチな相互作用を学習する交通予測のための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-23T03:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。