論文の概要: On the Robustness of Controlled Deep Reinforcement Learning for Slice Placement

• arxiv url: http://arxiv.org/abs/2108.02505v1
• Date: Thu, 5 Aug 2021 10:24:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-06 14:32:03.265773
• Title: On the Robustness of Controlled Deep Reinforcement Learning for Slice Placement
• Title（参考訳）: スライス配置のための制御深部強化学習のロバスト性について
• Authors: Jose Jurandir Alves Esteves, Amina Boubendir, Fabrice Guillemin, Pierre Sens
• Abstract要約: 我々は、純粋なDRLベースアルゴリズムとハイブリッドDRLヒューリスティックアルゴリズムである2つのDeep Reinforcement Learningアルゴリズムを比較した。 評価結果から,提案手法は純粋なDRLよりも予測不可能なネットワーク負荷変化の場合に,より堅牢で信頼性が高いことが示唆された。
• 参考スコア（独自算出の注目度）: 0.8459686722437155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The evaluation of the impact of using Machine Learning in the management of softwarized networks is considered in multiple research works. Beyond that, we propose to evaluate the robustness of online learning for optimal network slice placement. A major assumption to this study is to consider that slice request arrivals are non-stationary. In this context, we simulate unpredictable network load variations and compare two Deep Reinforcement Learning (DRL) algorithms: a pure DRL-based algorithm and a heuristically controlled DRL as a hybrid DRL-heuristic algorithm, to assess the impact of these unpredictable changes of traffic load on the algorithms performance. We conduct extensive simulations of a large-scale operator infrastructure. The evaluation results show that the proposed hybrid DRL-heuristic approach is more robust and reliable in case of unpredictable network load changes than pure DRL as it reduces the performance degradation. These results are follow-ups for a series of recent research we have performed showing that the proposed hybrid DRL-heuristic approach is efficient and more adapted to real network scenarios than pure DRL.
• Abstract（参考訳）: ソフトウエーズネットワークの管理における機械学習の利用の影響の評価は,複数の研究で検討されている。 さらに,ネットワークスライス配置におけるオンライン学習のロバスト性を評価することを提案する。 本研究の主要な前提は,スライス要求の到着が定常的でないことである。 この文脈では、予測不能なネットワーク負荷変動をシミュレーションし、2つのDeep Reinforcement Learning (DRL)アルゴリズム(純粋なDRLベースアルゴリズムとハイブリッドDRLヒューリスティックアルゴリズムとしてヒューリスティックに制御されたDRL)を比較し、これらの予測不可能なトラフィック負荷の変化がアルゴリズム性能に与える影響を評価する。 大規模オペレーターインフラの広範なシミュレーションを行う。 評価結果から,本提案手法は純粋なDRLよりも予測不可能なネットワーク負荷変化が発生した場合に,より堅牢で信頼性が高いことを示す。 これらの結果は、提案したハイブリッドDRLヒューリスティックアプローチが、純粋なDRLよりも効率的で、実際のネットワークシナリオに適応可能であることを示す最近の一連の研究のフォローアップである。

関連論文リスト

• Broad Critic Deep Actor Reinforcement Learning for Continuous Control [5.440090782797941]
  アクター批判強化学習(RL)アルゴリズムのための新しいハイブリッドアーキテクチャを提案する。 提案したアーキテクチャは、広範学習システム(BLS)とディープニューラルネットワーク(DNN)を統合している。 提案アルゴリズムの有効性を2つの古典的連続制御タスクに適用することにより評価する。
  論文  参考訳（メタデータ） (2024-11-24T12:24:46Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• Provable Reward-Agnostic Preference-Based Reinforcement Learning [61.39541986848391]
  PbRL(Preference-based Reinforcement Learning)は、RLエージェントが、軌道上のペアワイドな嗜好に基づくフィードバックを用いてタスクを最適化することを学ぶパラダイムである。 本稿では,隠れた報酬関数の正確な学習を可能にする探索軌道を求める理論的報酬非依存PbRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:00:09Z)
• Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks [16.12495409295754]
  次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。 データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。 深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
  論文  参考訳（メタデータ） (2021-12-07T03:13:20Z)
• DRL-based Slice Placement under Realistic Network Load Conditions [0.8459686722437155]
  本稿では,Deep Reinforcement Learning(DRL)に基づくネットワークスライス配置最適化手法を提案する。 このソリューションは大規模かつ静止しない交通条件下でのネットワーク(すなわちネットワーク負荷)に適応する。 提案手法の適用性と,非制御DRLソリューションよりも高い,安定した性能を示す。
  論文  参考訳（メタデータ） (2021-09-27T07:58:45Z)
• DRL-based Slice Placement Under Non-Stationary Conditions [0.8459686722437155]
  我々は,非定常プロセスに従ってスライス要求が到着するという仮定の下で,最適ネットワークスライス配置のためのオンライン学習を検討する。 具体的には、2つの純DRLアルゴリズムと2つのハイブリッドDRLヒューリスティックアルゴリズムを提案する。 提案したハイブリッドDRLヒューリスティックアルゴリズムは、収束を達成するために、純DRLよりも少ない3桁の学習エピソードを必要とすることを示す。
  論文  参考訳（メタデータ） (2021-08-05T10:05:12Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• Instabilities of Offline RL with Pre-Trained Neural Representation [127.89397629569808]
  オフライン強化学習(RL)では、オフラインデータを利用して、評価対象のポリシーのそれとは大きく異なる分布からデータが収集されるシナリオでポリシーを評価する(または学習する)ことを目指しています。 最近の理論的進歩は、そのようなサンプル効率の良いオフラインRLが確かにある強い表現条件が保持されることを示した。 本研究は,オフラインrlメソッドの安定性を評価するために,経験的視点からこれらの問題を考察する。
  論文  参考訳（メタデータ） (2021-03-08T18:06:44Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)
• Stacked Auto Encoder Based Deep Reinforcement Learning for Online Resource Scheduling in Large-Scale MEC Networks [44.40722828581203]
  オンラインリソーススケジューリングフレームワークは、IoT(Internet of Things)の全ユーザに対して、重み付けされたタスクレイテンシの総和を最小化するために提案されている。 以下を含む深層強化学習(DRL)に基づく解法を提案する。 DRLがポリシーネットワークをトレーニングし、最適なオフロードポリシーを見つけるのを支援するために、保存および優先されたエクスペリエンスリプレイ(2p-ER)を導入する。
  論文  参考訳（メタデータ） (2020-01-24T23:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。