論文の概要: Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled Systems

• arxiv url: http://arxiv.org/abs/2210.15432v1
• Date: Thu, 27 Oct 2022 13:53:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 15:59:50.677248
• Title: Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled Systems
• Title（参考訳）: DNN対応システムのオンラインテストのための多目的強化学習
• Authors: Fitash Ul Haq, Donghwan Shin, Lionel Briand
• Abstract要約: ディープニューラルネットワーク(DNN)は、自律ダイビングシステム(ADS)のようなサイバー物理システムにおいて現実世界のタスクを実行するために広く利用されている。 このようなDNN-Enabled Systems(DES)の正しい動作を保証することが重要なトピックである。 オンラインテストは、そのようなシステムをクローズドループでアプリケーション環境(シミュレーションまたは現実)でテストするための有望なモードの1つです。 本稿では,強化学習(RL)と多目的探索を組み合わせることで,これらの課題に対処する新しいオンラインテスト手法であるMORLOTを提案する。
• 参考スコア（独自算出の注目度）: 0.6690874707758508
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) have been widely used to perform real-world tasks in cyber-physical systems such as Autonomous Diving Systems (ADS). Ensuring the correct behavior of such DNN-Enabled Systems (DES) is a crucial topic. Online testing is one of the promising modes for testing such systems with their application environments (simulated or real) in a closed loop taking into account the continuous interaction between the systems and their environments. However, the environmental variables (e.g., lighting conditions) that might change during the systems' operation in the real world, causing the DES to violate requirements (safety, functional), are often kept constant during the execution of an online test scenario due to the two major challenges: (1) the space of all possible scenarios to explore would become even larger if they changed and (2) there are typically many requirements to test simultaneously. In this paper, we present MORLOT (Many-Objective Reinforcement Learning for Online Testing), a novel online testing approach to address these challenges by combining Reinforcement Learning (RL) and many-objective search. MORLOT leverages RL to incrementally generate sequences of environmental changes while relying on many-objective search to determine the changes so that they are more likely to achieve any of the uncovered objectives. We empirically evaluate MORLOT using CARLA, a high-fidelity simulator widely used for autonomous driving research, integrated with Transfuser, a DNN-enabled ADS for end-to-end driving. The evaluation results show that MORLOT is significantly more effective and efficient than alternatives with a large effect size. In other words, MORLOT is a good option to test DES with dynamically changing environments while accounting for multiple safety requirements.
• Abstract（参考訳）: ディープニューラルネットワーク(Deep Neural Networks, DNN)は、自律ダイビングシステム(ADS)のようなサイバー物理システムにおいて、現実世界のタスクを実行するために広く利用されている。 このようなDNN-Enabled Systems(DES)の正しい動作を保証することが重要なトピックである。 オンラインテストは、システムと環境間の継続的な相互作用を考慮して、クローズドループでアプリケーション環境(シミュレーションまたは現実)でテストするための有望なモードの1つである。 しかしながら、実際の世界でシステムの動作中に変化する可能性のある環境変数(例えば、照明条件)は、DESが要求に違反する(安全で機能的な)ため、2つの主要な課題のためにオンラインテストシナリオの実行中に常に維持される。 本稿では,強化学習(rl)と多目的探索を組み合わせた新しいオンラインテスト手法であるmorlot(many-objective reinforcement learning for online testing)を提案する。 MORLOT は RL を利用して環境変化の連続を漸進的に生成するが、多目的探索を頼りに変化を判定し、発見された目的のいずれかを達成する可能性が高くなる。 我々は、自律運転研究に広く用いられている高忠実度シミュレータであるCARLAを用いて、MORLOTを実証的に評価する。 評価結果から,MORLOTは大きな効果を有する代替品よりも有効で効率的であることが示唆された。 言い換えれば、MORLOTは、複数の安全性要件を考慮しつつ、動的に変化する環境でDESをテストするための良い選択肢である。

関連論文リスト

• Evaluating the Effectiveness of Video Anomaly Detection in the Wild: Online Learning and Inference for Real-world Deployment [2.1374208474242815]
  Video Anomaly Detection (VAD) は、監視から医療まで幅広い応用の鍵となる、ビデオストリームにおける異常な活動を特定する。 実生活環境でのVADに取り組むことは、人間の行動の動的な性質、環境の変化、ドメインシフトによって大きな課題となる。 オンライン学習は、モデルを新しい情報に継続的に適応させることによって、この問題を軽減するための潜在的戦略である。
  論文  参考訳（メタデータ） (2024-04-29T14:47:32Z)
• Effective Intrusion Detection in Heterogeneous Internet-of-Things Networks via Ensemble Knowledge Distillation-based Federated Learning [52.6706505729803]
  我々は、分散化された侵入検知システムの共有モデル(IDS)を協調訓練するために、フェデレートラーニング(FL)を導入する。 FLEKDは従来のモデル融合法よりも柔軟な凝集法を実現する。 実験の結果,提案手法は,速度と性能の両面で,局所訓練と従来のFLよりも優れていた。
  論文  参考訳（メタデータ） (2024-01-22T14:16:37Z)
• Scaling #DNN-Verification Tools with Efficient Bound Propagation and Parallel Computing [57.49021927832259]
  ディープニューラルネットワーク(DNN)は多くのシナリオで異常な結果を示した強力なツールです。 しかし、それらの複雑な設計と透明性の欠如は、現実世界のアプリケーションに適用する際の安全性上の懸念を提起する。 DNNの形式的検証(FV)は、安全面の証明可能な保証を提供する貴重なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-12-10T13:51:25Z)
• Fast-Slow Test-Time Adaptation for Online Vision-and-Language Navigation [67.18144414660681]
  オンラインビジョン・アンド・ランゲージナビゲーション(VLN)のためのFSTTA(Fast-Slow Test-Time Adaptation)アプローチを提案する。 提案手法は,4つのベンチマークにおいて顕著な性能向上を実現する。
  論文  参考訳（メタデータ） (2023-11-22T07:47:39Z)
• GARL: Genetic Algorithm-Augmented Reinforcement Learning to Detect Violations in Marker-Based Autonomous Landing Systems [0.7461036096470347]
  従来のオフラインテスト手法では、人間や動物のような動的なオブジェクトによる違反事例を見逃します。 オンラインテストの方法は、限られた予算で実行できない広範囲なトレーニング時間を必要とする。 本稿では遺伝的アルゴリズム(GA)と強化学習(RL)を組み合わせたフレームワークであるGARLを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T10:54:01Z)
• DeepQTest: Testing Autonomous Driving Systems with Reinforcement Learning and Real-world Weather Data [12.106514312408228]
  強化学習(RL)を用いた自律走行システム(ADS)の新しいテスト手法を提案する。 DeepQTestはRLを使用して環境構成を学習する。 生成されたシナリオの現実性を保証するため、DeepQTestは現実的な制約セットを定義し、実際の気象条件を導入する。
  論文  参考訳（メタデータ） (2023-10-08T13:59:43Z)
• Self-Sustaining Multiple Access with Continual Deep Reinforcement Learning for Dynamic Metaverse Applications [17.436875530809946]
  Metaverseは,さまざまな世界で構成される仮想環境の構築を目的とした,新たなパラダイムだ。 このような動的で複雑なシナリオに対処するためには、自己維持戦略を採用する方法が考えられる。 本稿では,知的エージェントのスループットを最大化するために,マルチチャネル環境におけるマルチアクセスの問題について検討する。
  論文  参考訳（メタデータ） (2023-09-18T22:02:47Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)
• Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning [0.3683202928838613]
  検証は、システムが日々の運転で遭遇する可能性のあるシナリオや状況において、自動運転車システムをテストに投入する。 本稿では,AVソフトウェア実装における障害事例と予期せぬ交通状況を生成するために強化学習(RL)を提案する。
  論文  参考訳（メタデータ） (2020-05-22T19:00:38Z)
• From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning [69.23334811890919]
  深層強化学習(Deep Reinforcement Learning)は、さまざまな分野における多くの制御タスクを解決できることが証明されている。 これは主に、シミュレーションデータと実世界のデータ間のドメイン適応の欠如と、トレインデータセットとテストデータセットの区別の欠如による。 本稿では,エージェントが同時に訓練される複数の環境に基づくシステムを提案する。
  論文  参考訳（メタデータ） (2020-05-13T14:22:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。