論文の概要: Safe Load Balancing in Software-Defined-Networking

• arxiv url: http://arxiv.org/abs/2410.16846v1
• Date: Tue, 22 Oct 2024 09:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:27:21.571019
• Title: Safe Load Balancing in Software-Defined-Networking
• Title（参考訳）: ソフトウェア設計ネットワークにおけるセーフロードバランシング
• Authors: Lam Dinh, Pham Tran Anh Quang, Jérémie Leguay,
• Abstract要約: 負荷分散のためのDeep Reinforcement Learning (DRL)アルゴリズム上に設計された制御バリア(CBF)。 DRL-CBFアプローチは,トレーニングおよびテスト中の安全性要件を満たすことができることを示す。
• 参考スコア（独自算出の注目度）: 1.2521494095948067
• License:
• Abstract: High performance, reliability and safety are crucial properties of any Software-Defined-Networking (SDN) system. Although the use of Deep Reinforcement Learning (DRL) algorithms has been widely studied to improve performance, their practical applications are still limited as they fail to ensure safe operations in exploration and decision-making. To fill this gap, we explore the design of a Control Barrier Function (CBF) on top of Deep Reinforcement Learning (DRL) algorithms for load-balancing. We show that our DRL-CBF approach is capable of meeting safety requirements during training and testing while achieving near-optimal performance in testing. We provide results using two simulators: a flow-based simulator, which is used for proof-of-concept and benchmarking, and a packet-based simulator that implements real protocols and scheduling. Thanks to the flow-based simulator, we compared the performance against the optimal policy, solving a Non Linear Programming (NLP) problem with the SCIP solver. Furthermore, we showed that pre-trained models in the flow-based simulator, which is faster, can be transferred to the packet simulator, which is slower but more accurate, with some fine-tuning. Overall, the results suggest that near-optimal Quality-of-Service (QoS) performance in terms of end-to-end delay can be achieved while safety requirements related to link capacity constraints are guaranteed. In the packet-based simulator, we also show that our DRL-CBF algorithms outperform non-RL baseline algorithms. When the models are fine-tuned over a few episodes, we achieved smoother QoS and safety in training, and similar performance in testing compared to the case where models have been trained from scratch.
• Abstract（参考訳）: ハイパフォーマンス、信頼性、安全性は、SDN(Software-Defined-Networking)システムにとって重要な特性である。 深層強化学習(DRL)アルゴリズムは、性能向上のために広く研究されているが、探索や意思決定における安全な操作の確保に失敗するため、実用的応用は依然として限られている。 このギャップを埋めるために、負荷分散のためのDeep Reinforcement Learning(DRL)アルゴリズム上での制御バリア関数(CBF)の設計について検討する。 DRL-CBFアプローチは,テストにおいてほぼ最適性能を達成しつつ,トレーニングおよびテスト中の安全性要件を満たすことができることを示す。 本研究では,概念実証とベンチマークに使用されるフローベースシミュレータと,実際のプロトコルとスケジューリングを実装したパケットベースのシミュレータの2つのシミュレータを用いて結果を提供する。 フローベースシミュレータにより,Non Linear Programming (NLP) 問題とSCIPソルバを比較検討した。 さらに,より高速なフローベースシミュレータの事前学習モデルは,より遅いがより高精度なパケットシミュレータに転送可能であることを示した。 その結果,リンク容量の制約に関する安全性要件が保証される一方で,サービス品質(QoS)の性能をエンドツーエンドの遅延の観点から評価できることが示唆された。 また,パケットベースシミュレータにおいて,DRL-CBFアルゴリズムが非RLベースラインアルゴリズムより優れていることを示す。 モデルが数回にわたって微調整された場合、トレーニングにおいてよりスムーズなQoSと安全性を実現し、モデルがスクラッチからトレーニングされた場合と比較して、テストにおける同様のパフォーマンスを実現しました。

関連論文リスト

• Constrained Reinforcement Learning for Safe Heat Pump Control [24.6591923448048]
  異なる用途のインタフェースを提供する新しいビルディングシミュレータI4Bを提案する。 本研究では,線形平滑ログバリア関数 (CSAC-LB) を用いた制約付きソフトアクタ・クリティカルというモデルレス制約付きRLアルゴリズムを加熱最適化問題に適用する。 ベースラインアルゴリズムに対するベンチマークは、CSAC-LBのデータ探索、制約満足度、性能における効率を示す。
  論文  参考訳（メタデータ） (2024-09-29T14:15:13Z)
• The Power of Resets in Online Reinforcement Learning [73.64852266145387]
  ローカルシミュレータアクセス(あるいはローカルプランニング)を用いたオンライン強化学習を通してシミュレータのパワーを探求する。 カバー性が低いMPPは,Qstar$-realizabilityのみのサンプル効率で学習可能であることを示す。 ローカルシミュレーターアクセス下では, 悪名高いExogenous Block MDP問題が抽出可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-23T18:09:53Z)
• Towards Safe Load Balancing based on Control Barrier Functions and Deep Reinforcement Learning [0.691367883100748]
  我々は,SD-WAN(Software Defined-Wide Area Network)のための安全な学習に基づくロードバランシングアルゴリズムを提案する。 制御バリア関数(CBF)を併用した深層強化学習(DRL)によって強化される。 提案手法は,リンク容量制約に関する安全性要件を尊重しつつ,エンドツーエンドの遅延の観点から,ほぼ最適品質(QoS)を提供することを示す。
  論文  参考訳（メタデータ） (2024-01-10T19:43:12Z)
• Evaluating Model-free Reinforcement Learning toward Safety-critical Tasks [70.76757529955577]
  本稿では、国家安全RLの観点から、この領域における先行研究を再考する。 安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。 この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
  論文  参考訳（メタデータ） (2022-12-12T06:30:17Z)
• FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge Computing Migrations [52.85536740465277]
  FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。 ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。 FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
  論文  参考訳（メタデータ） (2022-09-28T19:49:39Z)
• Learning Robust Output Control Barrier Functions from Safe Expert Demonstrations [50.37808220291108]
  本稿では,専門家によるデモンストレーションの部分的な観察から,安全な出力フィードバック制御法を考察する。 まず,安全性を保証する手段として,ロバスト出力制御バリア関数(ROCBF)を提案する。 次に、安全なシステム動作を示す専門家による実証からROCBFを学習するための最適化問題を定式化する。
  論文  参考訳（メタデータ） (2021-11-18T23:21:00Z)
• A Safe Hierarchical Planning Framework for Complex Driving Scenarios based on Reinforcement Learning [23.007323699176467]
  低レベルコントローラのコーディネーターとして,低レベルセーフコントローラセットと高レベル強化学習アルゴリズム(H-CtRL)を用いた階層的行動計画フレームワークを提案する。 低レベルの最適化/サンプリングベースのコントローラによって安全性が保証され、高レベルの強化学習アルゴリズムはH-CtRLを適応的で効率的な行動プランナにする。 提案したH-CtRLは,安全性と効率の両面で性能を満足して,様々な現実的なシミュレーションシナリオにおいて有効であることが証明された。
  論文  参考訳（メタデータ） (2021-01-17T20:45:42Z)
• Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems [81.7983463275447]
  学習に基づく制御アルゴリズムは、訓練のための豊富な監督を伴うデータ収集を必要とする。 本稿では,機会制約付き最適制御と動的学習とフィードバック制御を統合した安全な探索による最適動作計画のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-09T05:57:43Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。