論文の概要: Learning Sub-Second Routing Optimization in Computer Networks requires Packet-Level Dynamics

• arxiv url: http://arxiv.org/abs/2410.10377v1
• Date: Mon, 14 Oct 2024 11:03:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-29 21:54:49.479648
• Title: Learning Sub-Second Routing Optimization in Computer Networks requires Packet-Level Dynamics
• Title（参考訳）: コンピュータネットワークにおけるサブセカンダリルーティング最適化の学習にはパケットレベルダイナミクスが必要である
• Authors: Andreas Boltres, Niklas Freymuth, Patrick Jahnke, Holger Karl, Gerhard Neumann,
• Abstract要約: 強化学習は、ルーティング決定を提供するネットワーク表現を学ぶのに役立つ。 汎用ネットワークトポロジにおけるルーティングのための最初のパケットレベル強化学習環境であるtextitPackeRL$を提示する。 また、サブ秒間ルーティング最適化を学習するための2つの新しいアルゴリズムも導入する。
• 参考スコア（独自算出の注目度）: 15.018408728324887
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding efficient routes for data packets is an essential task in computer networking. The optimal routes depend greatly on the current network topology, state and traffic demand, and they can change within milliseconds. Reinforcement Learning can help to learn network representations that provide routing decisions for possibly novel situations. So far, this has commonly been done using fluid network models. We investigate their suitability for millisecond-scale adaptations with a range of traffic mixes and find that packet-level network models are necessary to capture true dynamics, in particular in the presence of TCP traffic. To this end, we present $\textit{PackeRL}$, the first packet-level Reinforcement Learning environment for routing in generic network topologies. Our experiments confirm that learning-based strategies that have been trained in fluid environments do not generalize well to this more realistic, but more challenging setup. Hence, we also introduce two new algorithms for learning sub-second Routing Optimization. We present $\textit{M-Slim}$, a dynamic shortest-path algorithm that excels at high traffic volumes but is computationally hard to scale to large network topologies, and $\textit{FieldLines}$, a novel next-hop policy design that re-optimizes routing for any network topology within milliseconds without requiring any re-training. Both algorithms outperform current learning-based approaches as well as commonly used static baseline protocols in scenarios with high-traffic volumes. All findings are backed by extensive experiments in realistic network conditions in our fast and versatile training and evaluation framework.
• Abstract（参考訳）: データパケットの効率的なルートを見つけることは、コンピュータネットワークにおいて重要な課題である。 最適な経路は、現在のネットワークトポロジ、状態、交通需要に大きく依存しており、ミリ秒で変更できる。 強化学習(Reinforcement Learning)は、新たな状況に対するルーティング決定を提供するネットワーク表現の学習を支援する。 これまでのところ、これは流体ネットワークモデルを使って行われてきた。 特にTCPトラフィックの存在下では,パケットレベルのネットワークモデルが真のダイナミックスを捉えるのに必要であることを示す。 この目的のために、汎用ネットワークトポロジにおけるルーティングのための最初のパケットレベル強化学習環境である$\textit{PackeRL}$を提示する。 実験の結果,流体環境下で訓練された学習ベースの戦略は,より現実的で,より困難な設定には適さないことが明らかとなった。 したがって、サブ秒間ルーティング最適化を学習するための2つの新しいアルゴリズムも導入する。 我々は,高トラフィック量で優れた高速パスアルゴリズムである$\textit{M-Slim}$,大規模ネットワークトポロジへのスケーリングが困難である$\textit{FieldLines}$,ネットワークトポロジのルーティングを1ミリ秒以内で再最適化する新しい次ホップポリシー設計である$\textit{FieldLines}$を提示した。 どちらのアルゴリズムも現在の学習ベースのアプローチよりも優れており、高トラフィックボリュームのシナリオでは静的ベースラインプロトコルが一般的である。 すべての発見は、我々の高速で多目的なトレーニングおよび評価フレームワークにおける、現実的なネットワーク条件に関する広範な実験によって裏付けられている。

関連論文リスト

• Intelligent Routing Algorithm over SDN: Reusable Reinforcement Learning Approach [1.799933345199395]
  本稿では,再利用可能なRLSRルーティングアルゴリズム RLSR-Routing をSDN上で開発する。 我々のアルゴリズムは従来の手法よりもロードバランシングの点で優れた性能を示している。 また、複数のトラフィック要求のパスを見つける際には、再利用不可能なRLアプローチよりも早く収束する。
  論文  参考訳（メタデータ） (2024-09-23T17:15:24Z)
• Principled Architecture-aware Scaling of Hyperparameters [69.98414153320894]
  高品質のディープニューラルネットワークをトレーニングするには、非自明で高価なプロセスである適切なハイパーパラメータを選択する必要がある。 本研究では,ネットワークアーキテクチャにおける初期化と最大学習率の依存性を正確に評価する。 ネットワークランキングは、ベンチマークのトレーニングネットワークにより容易に変更可能であることを実証する。
  論文  参考訳（メタデータ） (2024-02-27T11:52:49Z)
• A Deep Reinforcement Learning Approach for Adaptive Traffic Routing in Next-gen Networks [1.1586742546971471]
  次世代ネットワークは、トラフィックダイナミクスに基づいたネットワーク構成を自動化し、適応的に調整する必要がある。 交通政策を決定する伝統的な手法は、通常は手作りのプログラミング最適化とアルゴリズムに基づいている。 我々は適応的なトラフィックルーティングのための深層強化学習(DRL)アプローチを開発する。
  論文  参考訳（メタデータ） (2024-02-07T01:48:29Z)
• XRoute Environment: A Novel Reinforcement Learning Environment for Routing [8.797544401458476]
  我々は,新しい強化学習環境であるXRoute Environmentを紹介した。 エージェントは、高度なエンドツーエンドのルーティングフレームワークでネットを選択してルーティングするように訓練される。 結果として生じる環境は難しく、使いやすく、カスタマイズし、追加のシナリオを追加します。
  論文  参考訳（メタデータ） (2023-05-23T08:46:25Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• ENERO: Efficient Real-Time Routing Optimization [2.830334160074889]
  交通工学(TE)ソリューションは、高性能なリアルタイムネットワーク運用を実現する必要がある。 現在のTE技術は手工芸品や計算コストの高い解法に依存している。 本稿では,効率的なリアルタイムTEエンジンであるEeroを提案する。
  論文  参考訳（メタデータ） (2021-09-22T17:53:30Z)
• Efficient Transfer Learning via Joint Adaptation of Network Architecture and Weight [66.8543732597723]
  近年のニューラルネットワーク探索(NAS)は,十分なネットワーク探索空間を確立することで伝達学習を支援する。 本稿では,2つのモジュールからなる新しいフレームワークを提案する。アーキテクチャトランスファーのためのニューラルアーキテクチャ探索モジュールと,ウェイトトランスファーのためのニューラルウェイト探索モジュールである。 これら2つのモジュールは、減らされたスーパーネットワークに基づいてターゲットタスクを探索するので、ソースタスクのみを訓練する必要がある。
  論文  参考訳（メタデータ） (2021-05-19T08:58:04Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Relational Deep Reinforcement Learning for Routing in Wireless Networks [2.997420836766863]
  我々は,トラフィックパターン,混雑レベル,ネットワーク接続性,リンクダイナミクスを一般化した,深層強化学習に基づく分散ルーティング戦略を開発した。 提案アルゴリズムは,パケットの配送やパケット毎の遅延に対して,最短経路とバックプレッシャルーティングに優れる。
  論文  参考訳（メタデータ） (2020-12-31T16:28:21Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。