論文の概要: Safe RAN control: A Symbolic Reinforcement Learning Approach
- arxiv url: http://arxiv.org/abs/2106.01977v1
- Date: Thu, 3 Jun 2021 16:45:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 16:39:24.887522
- Title: Safe RAN control: A Symbolic Reinforcement Learning Approach
- Title（参考訳）: 安全なRAN制御:シンボリック強化学習アプローチ
- Authors: Alexandros Nikou, Anusha Mujumdar, Marin Orlic, Aneta Vulgarakis
Feljan
- Abstract要約: 本稿では,無線アクセスネットワーク(RAN)アプリケーションの安全管理のためのシンボル強化学習(SRL)アーキテクチャを提案する。
我々は、ユーザが所定のセルネットワークトポロジに対して高レベルの論理的安全性仕様を指定できる純粋に自動化された手順を提供する。
ユーザがシステムに意図仕様を設定するのを支援するために開発されたユーザインターフェース(UI)を導入し、提案するエージェントの動作の違いを検査する。
- 参考スコア（独自算出の注目度）: 62.997667081978825
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we present a Symbolic Reinforcement Learning (SRL) based
architecture for safety control of Radio Access Network (RAN) applications. In
particular, we provide a purely automated procedure in which a user can specify
high-level logical safety specifications for a given cellular network topology
in order for the latter to execute optimal safe performance which is measured
through certain Key Performance Indicators (KPIs). The network consists of a
set of fixed Base Stations (BS) which are equipped with antennas, which one can
control by adjusting their vertical tilt angle. The aforementioned process is
called Remote Electrical Tilt (RET) optimization. Recent research has focused
on performing this RET optimization by employing Reinforcement Learning (RL)
strategies due to the fact that they have self-learning capabilities to adapt
in uncertain environments. The term safety refers to particular constraints
bounds of the network KPIs in order to guarantee that when the algorithms are
deployed in a live network, the performance is maintained. In our proposed
architecture the safety is ensured through model-checking techniques over
combined discrete system models (automata) that are abstracted through the
learning process. We introduce a user interface (UI) developed to help a user
set intent specifications to the system, and inspect the difference in agent
proposed actions, and those that are allowed and blocked according to the
safety specification.
- Abstract（参考訳）: 本稿では,無線アクセスネットワーク(RAN)アプリケーションの安全性管理のための,SRL(Symbolic Reinforcement Learning)に基づくアーキテクチャを提案する。
特に,特定の鍵性能指標(kpis)を用いて測定される最適な安全性能を実現するために,ユーザが所定のセルネットワークトポロジーに対して高レベルな論理安全性仕様を指定できる純粋に自動化された手順を提供する。
このネットワークは、アンテナを備えた固定ベースステーション(BS)のセットで構成されており、垂直傾きの角度を調整することで制御できる。
上記のプロセスは、Remote Electric Tilt (RET) Optimizationと呼ばれる。
最近の研究は、不確実な環境に適応する自己学習能力があることから、強化学習(RL)戦略を採用することで、このRET最適化の実行に焦点を当てている。
安全という用語は、アルゴリズムがライブネットワークにデプロイされると性能が維持されることを保証するために、ネットワークKPIの特定の制約境界を指す。
提案アーキテクチャでは,学習プロセスを通じて抽象化された離散的なシステムモデル(オートマタ)のモデルチェック手法によって安全性が確保される。
利用者がシステムに意図仕様を設定するのを支援するために開発されたユーザインタフェース(UI)を導入し、提案したアクションと、安全仕様に従って許可およびブロックされるアクションの違いを検査する。
関連論文リスト
- Online Safety Property Collection and Refinement for Safe Deep
Reinforcement Learning in Mapless Navigation [79.89605349842569]
オンラインプロパティのコレクション・リファインメント(CROP)フレームワークをトレーニング時にプロパティを設計するために導入する。
CROPは、安全でない相互作用を識別し、安全特性を形成するためにコストシグナルを使用する。
本手法をいくつかのロボットマップレスナビゲーションタスクで評価し,CROPで計算した違反量によって,従来のSafe DRL手法よりも高いリターンと低いリターンが得られることを示す。
論文 参考訳（メタデータ） (2023-02-13T21:19:36Z) - Evaluating Model-free Reinforcement Learning toward Safety-critical
Tasks [70.76757529955577]
本稿では、国家安全RLの観点から、この領域における先行研究を再考する。
安全最適化と安全予測を組み合わせた共同手法であるUnrolling Safety Layer (USL)を提案する。
この領域のさらなる研究を容易にするため、我々は関連するアルゴリズムを統一パイプラインで再現し、SafeRL-Kitに組み込む。
論文 参考訳（メタデータ） (2022-12-12T06:30:17Z) - Recursively Feasible Probabilistic Safe Online Learning with Control Barrier Functions [60.26921219698514]
CBFをベースとした安全クリティカルコントローラのモデル不確実性を考慮した再構成を提案する。
次に、結果の安全制御器のポイントワイズ実現可能性条件を示す。
これらの条件を利用して、イベントトリガーによるオンラインデータ収集戦略を考案する。
論文 参考訳（メタデータ） (2022-08-23T05:02:09Z) - Safe-Critical Modular Deep Reinforcement Learning with Temporal Logic
through Gaussian Processes and Control Barrier Functions [3.5897534810405403]
強化学習(Reinforcement Learning, RL)は,現実のアプリケーションに対して限られた成功を収める,有望なアプローチである。
本稿では,複数の側面からなる学習型制御フレームワークを提案する。
ECBFをベースとしたモジュラーディープRLアルゴリズムは,ほぼ完全な成功率を達成し,高い確率で安全性を保護することを示す。
論文 参考訳（メタデータ） (2021-09-07T00:51:12Z) - Symbolic Reinforcement Learning for Safe RAN Control [62.997667081978825]
無線アクセスネットワーク(RAN)アプリケーションにおける安全な制御のためのシンボリック強化学習(SRL)アーキテクチャを紹介します。
本ツールでは,LTL(Linear Temporal Logic)で表現された高レベルの安全仕様を選択して,所定のセルネットワーク上で動作しているRLエージェントをシールドする。
ユーザインタフェース(ui)を用いて,ユーザがインテントの仕様をアーキテクチャに設定し,許可されたアクションとブロックされたアクションの違いを検査する。
論文 参考訳（メタデータ） (2021-03-11T10:56:49Z) - A Safe Reinforcement Learning Architecture for Antenna Tilt Optimisation [2.099922236065961]
環境との安全な相互作用は、実世界の問題に適用する場合、強化学習(RL)の最も難しい側面の1つである。
遠隔電気ティルト最適化(RET)は、基地局のアンテナ傾斜角の探索的な修正によりネットワークの性能が著しく低下するおそれのある安全クリティカルなアプリケーションである。
セルラーネットワークにおけるRET最適化に対処するために,モジュール型Safe Reinforcement Learningアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-12-02T16:07:55Z) - Remote Electrical Tilt Optimization via Safe Reinforcement Learning [1.2599533416395765]
リモート電気ティルト(RET)最適化は、ネットワークのキーパフォーマンス指標(KPI)を最適化するために、基地局(BS)アンテナの垂直傾き角を調整する効率的な方法である。
本研究では、傾き制御戦略の学習を目的とした安全強化学習(SRL)フレームワークにおけるRET最適化問題をモデル化する。
実験の結果,提案手法は安全で改良された傾き更新ポリシーを学習でき,信頼性が高く,現実のネットワーク展開の可能性も高いことがわかった。
論文 参考訳（メタデータ） (2020-10-12T16:46:40Z) - Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。
このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
論文 参考訳（メタデータ） (2019-02-02T20:09:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。