論文の概要: Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled
Systems
- arxiv url: http://arxiv.org/abs/2210.15432v1
- Date: Thu, 27 Oct 2022 13:53:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-28 15:59:50.677248
- Title: Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled
Systems
- Title(参考訳): DNN対応システムのオンラインテストのための多目的強化学習
- Authors: Fitash Ul Haq, Donghwan Shin, Lionel Briand
- Abstract要約: ディープニューラルネットワーク(DNN)は、自律ダイビングシステム(ADS)のようなサイバー物理システムにおいて現実世界のタスクを実行するために広く利用されている。
このようなDNN-Enabled Systems(DES)の正しい動作を保証することが重要なトピックである。
オンラインテストは、そのようなシステムをクローズドループでアプリケーション環境(シミュレーションまたは現実)でテストするための有望なモードの1つです。
本稿では,強化学習(RL)と多目的探索を組み合わせることで,これらの課題に対処する新しいオンラインテスト手法であるMORLOTを提案する。
- 参考スコア(独自算出の注目度): 0.6690874707758508
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) have been widely used to perform real-world tasks
in cyber-physical systems such as Autonomous Diving Systems (ADS). Ensuring the
correct behavior of such DNN-Enabled Systems (DES) is a crucial topic. Online
testing is one of the promising modes for testing such systems with their
application environments (simulated or real) in a closed loop taking into
account the continuous interaction between the systems and their environments.
However, the environmental variables (e.g., lighting conditions) that might
change during the systems' operation in the real world, causing the DES to
violate requirements (safety, functional), are often kept constant during the
execution of an online test scenario due to the two major challenges: (1) the
space of all possible scenarios to explore would become even larger if they
changed and (2) there are typically many requirements to test simultaneously.
In this paper, we present MORLOT (Many-Objective Reinforcement Learning for
Online Testing), a novel online testing approach to address these challenges by
combining Reinforcement Learning (RL) and many-objective search. MORLOT
leverages RL to incrementally generate sequences of environmental changes while
relying on many-objective search to determine the changes so that they are more
likely to achieve any of the uncovered objectives. We empirically evaluate
MORLOT using CARLA, a high-fidelity simulator widely used for autonomous
driving research, integrated with Transfuser, a DNN-enabled ADS for end-to-end
driving. The evaluation results show that MORLOT is significantly more
effective and efficient than alternatives with a large effect size. In other
words, MORLOT is a good option to test DES with dynamically changing
environments while accounting for multiple safety requirements.
- Abstract(参考訳): ディープニューラルネットワーク(Deep Neural Networks, DNN)は、自律ダイビングシステム(ADS)のようなサイバー物理システムにおいて、現実世界のタスクを実行するために広く利用されている。
このようなDNN-Enabled Systems(DES)の正しい動作を保証することが重要なトピックである。
オンラインテストは、システムと環境間の継続的な相互作用を考慮して、クローズドループでアプリケーション環境(シミュレーションまたは現実)でテストするための有望なモードの1つである。
しかしながら、実際の世界でシステムの動作中に変化する可能性のある環境変数(例えば、照明条件)は、DESが要求に違反する(安全で機能的な)ため、2つの主要な課題のためにオンラインテストシナリオの実行中に常に維持される。
本稿では,強化学習(rl)と多目的探索を組み合わせた新しいオンラインテスト手法であるmorlot(many-objective reinforcement learning for online testing)を提案する。
MORLOT は RL を利用して環境変化の連続を漸進的に生成するが、多目的探索を頼りに変化を判定し、発見された目的のいずれかを達成する可能性が高くなる。
我々は、自律運転研究に広く用いられている高忠実度シミュレータであるCARLAを用いて、MORLOTを実証的に評価する。
評価結果から,MORLOTは大きな効果を有する代替品よりも有効で効率的であることが示唆された。
言い換えれば、MORLOTは、複数の安全性要件を考慮しつつ、動的に変化する環境でDESをテストするための良い選択肢である。
関連論文リスト
- HAZARD Challenge: Embodied Decision Making in Dynamically Changing
Environments [93.94020724735199]
HAZARDは、火災、洪水、風などの3つの予期せぬ災害シナリオで構成されている。
このベンチマークにより、さまざまなパイプラインで自律エージェントの意思決定能力を評価することができる。
論文 参考訳(メタデータ) (2024-01-23T18:59:43Z) - Scaling #DNN-Verification Tools with Efficient Bound Propagation and
Parallel Computing [57.49021927832259]
ディープニューラルネットワーク(DNN)は多くのシナリオで異常な結果を示した強力なツールです。
しかし、それらの複雑な設計と透明性の欠如は、現実世界のアプリケーションに適用する際の安全性上の懸念を提起する。
DNNの形式的検証(FV)は、安全面の証明可能な保証を提供する貴重なソリューションとして登場した。
論文 参考訳(メタデータ) (2023-12-10T13:51:25Z) - DeepQTest: Testing Autonomous Driving Systems with Reinforcement
Learning and Real-world Weather Data [12.106514312408228]
強化学習(RL)を用いた自律走行システム(ADS)の新しいテスト手法を提案する。
DeepQTestはRLを使用して環境構成を学習する。
生成されたシナリオの現実性を保証するため、DeepQTestは現実的な制約セットを定義し、実際の気象条件を導入する。
論文 参考訳(メタデータ) (2023-10-08T13:59:43Z) - Self-Sustaining Multiple Access with Continual Deep Reinforcement
Learning for Dynamic Metaverse Applications [17.436875530809946]
Metaverseは,さまざまな世界で構成される仮想環境の構築を目的とした,新たなパラダイムだ。
このような動的で複雑なシナリオに対処するためには、自己維持戦略を採用する方法が考えられる。
本稿では,知的エージェントのスループットを最大化するために,マルチチャネル環境におけるマルチアクセスの問題について検討する。
論文 参考訳(メタデータ) (2023-09-18T22:02:47Z) - DIRA: Dynamic Domain Incremental Regularised Adaptation [2.227417514684251]
ディープニューラルネットワーク(DNN)の動的動作領域適応のための動的インクリメンタル正規化適応(DIRA)を導入する。
DIRAは、ターゲットドメインからのサンプルをいくつか使用して再トレーニングする場合、忘れることの問題を改善し、パフォーマンスが大幅に向上する。
本手法は,分布変化に対するロバスト性の評価を目的とした,画像分類ベンチマークの改善を示す。
論文 参考訳(メタデータ) (2022-04-30T03:46:03Z) - Learning to Walk Autonomously via Reset-Free Quality-Diversity [73.08073762433376]
品質多様性アルゴリズムは、多様かつ高いパフォーマンスのスキルからなる大規模で複雑な行動レパートリーを発見することができる。
既存のQDアルゴリズムは、手動による人間の監督と介入を必要とするエピソードリセットと同様に、多数の評価を必要とする。
本稿では,オープンエンド環境におけるロボットの自律学習に向けたステップとして,リセットフリー品質多様性最適化(RF-QD)を提案する。
論文 参考訳(メタデータ) (2022-04-07T14:07:51Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - Data Driven Testing of Cyber Physical Systems [12.93632948681342]
そこで本研究では,CPSの故障防止テストケースを自動生成する手法を提案する。
スマートな建物を管理するアプリケーションから収集されたデータは、環境のモデルを学ぶために使われてきた。
論文 参考訳(メタデータ) (2021-02-23T04:55:10Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳(メタデータ) (2020-11-16T08:24:34Z) - Towards Automated Safety Coverage and Testing for Autonomous Vehicles
with Reinforcement Learning [0.3683202928838613]
検証は、システムが日々の運転で遭遇する可能性のあるシナリオや状況において、自動運転車システムをテストに投入する。
本稿では,AVソフトウェア実装における障害事例と予期せぬ交通状況を生成するために強化学習(RL)を提案する。
論文 参考訳(メタデータ) (2020-05-22T19:00:38Z) - From Simulation to Real World Maneuver Execution using Deep
Reinforcement Learning [69.23334811890919]
深層強化学習(Deep Reinforcement Learning)は、さまざまな分野における多くの制御タスクを解決できることが証明されている。
これは主に、シミュレーションデータと実世界のデータ間のドメイン適応の欠如と、トレインデータセットとテストデータセットの区別の欠如による。
本稿では,エージェントが同時に訓練される複数の環境に基づくシステムを提案する。
論文 参考訳(メタデータ) (2020-05-13T14:22:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。