論文の概要: Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic

• arxiv url: http://arxiv.org/abs/2507.22174v2
• Date: Thu, 31 Jul 2025 17:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 13:02:07.717428
• Title: Spatial-Temporal Reinforcement Learning for Network Routing with Non-Markovian Traffic
• Title（参考訳）: 非マルコフ的トラフィックを考慮したネットワークルーティングのための時空間強化学習
• Authors: Molly Wang, Kin. K Leung,
• Abstract要約: 本稿では,パケットルーティングのための空間時空間RL(STRL)フレームワークを提案する。 ネットワークトポロジの変化にもかかわらず、トレーニング中に従来のベースラインを19%以上、推論で7%以上上回りました。
• 参考スコア（独自算出の注目度）: 2.9228846099569283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement Learning (RL) has been widely used for packet routing in communication networks, but traditional RL methods rely on the Markov assumption that the current state contains all necessary information for decision-making. In reality, internet traffic is non-Markovian, and past states do influence routing performance. Moreover, common deep RL approaches use function approximators, such as neural networks, that do not model the spatial structure in network topologies. To address these shortcomings, we design a network environment with non-Markovian traffic and introduce a spatial-temporal RL (STRL) framework for packet routing. Our approach outperforms traditional baselines by more than 19% during training and 7% for inference despite a change in network topology.
• Abstract（参考訳）: Reinforcement Learning (RL) は、通信ネットワークにおけるパケットルーティングに広く使われているが、従来のRL手法は、現在の状態が意思決定に必要な情報全てを含んでいるというマルコフの仮定に依存している。 実際には、インターネットトラフィックはマルコフ的ではなく、過去の州はルーティング性能に影響を与える。 さらに、一般的な深層RLアプローチでは、ネットワークトポロジの空間構造をモデル化しないニューラルネットワークのような関数近似を用いている。 これらの欠点に対処するために,非マルコフトラフィックのネットワーク環境を設計し,パケットルーティングのための空間時空間RL(STRL)フレームワークを導入する。 ネットワークトポロジの変化にもかかわらず、トレーニング中に従来のベースラインを19%以上、推論で7%以上上回りました。

関連論文リスト

• Opportunistic Routing in Wireless Communications via Learnable State-Augmented Policies [7.512221808783587]
  本稿では,大規模無線通信ネットワークにおけるパケットベースの情報ルーティングの課題に対処する。 機会的ルーティングは、無線通信の放送特性を利用して、最適な転送ノードを動的に選択する。 ネットワーク内のソースノードが処理する全情報の最大化を目的とした,状態拡張(SA)に基づく分散最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:56Z)
• Intelligent Hybrid Resource Allocation in MEC-assisted RAN Slicing Network [72.2456220035229]
  我々は,協調型MEC支援RANスライシングシステムにおける異種サービス要求に対するSSRの最大化を目指す。 最適ハイブリッドRAポリシーをインテリジェントに学習するためのRGRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-02T01:36:13Z)
• A Deep Reinforcement Learning Approach for Adaptive Traffic Routing in Next-gen Networks [1.1586742546971471]
  次世代ネットワークは、トラフィックダイナミクスに基づいたネットワーク構成を自動化し、適応的に調整する必要がある。 交通政策を決定する伝統的な手法は、通常は手作りのプログラミング最適化とアルゴリズムに基づいている。 我々は適応的なトラフィックルーティングのための深層強化学習(DRL)アプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-07T01:48:29Z)
• Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph Reinforcement Learning [42.175067773481416]
  我々は,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。 具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。 拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。
  論文  参考訳（メタデータ） (2023-11-07T06:43:15Z)
• Learning State-Augmented Policies for Information Routing in Communication Networks [84.76186111434818]
  我々は,グラフニューラルネットワーク(GNN)アーキテクチャを用いて,ソースノードの集約情報を最大化する,新たなステート拡張(SA)戦略を開発した。 教師なし学習手法を利用して、GNNアーキテクチャの出力を最適情報ルーティング戦略に変換する。 実験では,実時間ネットワークトポロジの評価を行い,アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2023-09-30T04:34:25Z)
• Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control [37.54493447920386]
  非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。 分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。 本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-04T07:39:21Z)
• Packet Routing with Graph Attention Multi-agent Reinforcement Learning [4.78921052969006]
  我々は強化学習(RL)を利用したモデルフリーでデータ駆動型ルーティング戦略を開発する。 ネットワークトポロジのグラフ特性を考慮すると、グラフニューラルネットワーク(GNN)と組み合わせたマルチエージェントRLフレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-28T06:20:34Z)
• Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
  本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。 我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
  論文  参考訳（メタデータ） (2021-06-15T09:03:28Z)
• Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks [119.81868223344173]
  本稿では,自由空間光(FSO)フロントホールネットワークにおける最適資源割り当てについて検討する。 我々は、FSOネットワーク構造を利用するために、ポリシーパラメータ化のためのグラフニューラルネットワーク(GNN)を検討する。 本アルゴリズムは,システムモデルに関する知識が不要なモデルフリーでGNNを訓練するために開発された。
  論文  参考訳（メタデータ） (2020-06-26T14:20:48Z)
• DANR: Discrepancy-aware Network Regularization [15.239252118069762]
  ネットワーク正規化は、ネットワーク上のコヒーレントモデルを学習するための効果的なツールである。 本稿では,正規化が不十分で,時間的ネットワーク上でのモデル進化と構造変化を効果的に捉える新しい手法を提案する。 本研究では,乗算器の交互化法(ADMM)に基づくスケーラブルでスケーラブルなアルゴリズムを開発し,大域的最適解への収束を保証する。
  論文  参考訳（メタデータ） (2020-05-31T02:01:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。