論文の概要: Can Offline Testing of Deep Neural Networks Replace Their Online Testing?

• arxiv url: http://arxiv.org/abs/2101.11118v1
• Date: Tue, 26 Jan 2021 22:28:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 19:42:54.017116
• Title: Can Offline Testing of Deep Neural Networks Replace Their Online Testing?
• Title（参考訳）: ディープニューラルネットワークのオフラインテストはオンラインテストに代わるのか?
• Authors: Fitash Ul Haq, Donghwan Shin, Shiva Nejati, Lionel Briand
• Abstract要約: ディープニューラルネットワーク(DNN)のオフラインテストとオンラインテストの関係について検討します。 私たちの目標は、オフラインテストとオンラインテストがどのように異なるか、相互補完するか、オフラインテスト結果を使用してオンラインテスト中により少ないテストを実行してテストコストを削減できるかを決定することです。 オンラインテストで特定される安全性違反の多くはオフラインテストでは識別できないため,オフラインテストはオンラインテストよりも楽観的である。
• 参考スコア（独自算出の注目度）: 6.514883742023449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We distinguish two general modes of testing for Deep Neural Networks (DNNs): Offline testing where DNNs are tested as individual units based on test datasets obtained independently from the DNNs under test, and online testing where DNNs are embedded into a specific application environment and tested in a closed-loop mode in interaction with the application environment. Typically, DNNs are subjected to both types of testing during their development life cycle where offline testing is applied immediately after DNN training and online testing follows after offline testing and once a DNN is deployed within a specific application environment. In this paper, we study the relationship between offline and online testing. Our goal is to determine how offline testing and online testing differ or complement one another and if we can use offline testing results to run fewer tests during online testing to reduce the testing cost. Though these questions are generally relevant to all autonomous systems, we study them in the context of automated driving systems where, as study subjects, we use DNNs automating end-to-end controls of steering functions of self-driving vehicles. Our results show that offline testing is more optimistic than online testing as many safety violations identified by online testing could not be identified by offline testing, while large prediction errors generated by offline testing always led to severe safety violations detectable by online testing. Further, we cannot use offline testing results to run fewer tests during online testing in practice since we are not able to identify specific situations where offline testing could be as accurate as online testing in identifying safety requirement violations.
• Abstract（参考訳）: 私たちは、Deep Neural Networks(DNN)の一般的なテストモードを区別します。DNNがテスト中のDNNから独立したテストデータセットに基づいて個々のユニットとしてテストされるオフラインテストと、DNNが特定のアプリケーション環境に埋め込まれ、アプリケーション環境と相互作用してクローズドループモードでテストされるオンラインテストです。 通常、DNNは開発ライフサイクルの両タイプのテストを受けており、DNNトレーニング直後にオフラインテストが適用され、オフラインテスト後にオンラインテストが実施され、DNNが特定のアプリケーション環境にデプロイされる。 本稿では,オフラインテストとオンラインテストの関係について検討する。 私たちの目標は、オフラインテストとオンラインテストがどのように異なるか、相互補完するか、オフラインテスト結果を使用してオンラインテスト中により少ないテストを実行してテストコストを削減できるかを決定することです。 これらの質問は、一般に全ての自律システムに関係しているが、自動運転車の操舵機能のエンドツーエンド制御を自動化するDNNを用いて、自動走行システムの文脈でそれらを研究する。 オンラインテストで特定される多くの安全違反がオフラインテストでは特定できないため,オフラインテストはオンラインテストよりも楽観的であり,オフラインテストで発生する大きな予測エラーは,オンラインテストで検出可能な深刻な安全違反につながっている。 さらに、オフラインテストの結果は、安全要件違反を特定する上で、オフラインテストがオンラインテストと同じくらい正確である可能性のある特定の状況を特定することができないため、実際にオンラインテストにおいて、より少ないテストを実行するために使用できません。

関連論文リスト

• Do Test and Environmental Complexity Increase Flakiness? An Empirical Study of SAP HANA [47.29324864511411]
  不安定なテストはコードの変更なしにランダムに失敗する。 テストの特徴と,テストのフレキネスに影響を与える可能性のあるテスト環境について検討する。
  論文  参考訳（メタデータ） (2024-09-16T07:52:09Z)
• Transferable and Efficient Non-Factual Content Detection via Probe Training with Offline Consistency Checking [48.68044413117397]
  PINOSEは、オフラインの自己整合性検査結果に基づいて探索モデルをトレーニングし、人間の注釈付きデータの必要性を回避する。 応答復号に先立って内部状態の様々な側面を調べ、事実的不正確な検出に寄与する。
  論文  参考訳（メタデータ） (2024-04-10T05:00:35Z)
• GIST: Generated Inputs Sets Transferability in Deep Learning [12.147546375400749]
  GIST(Generated Inputs Sets Transferability)は、テストセットの効率的な転送のための新しいアプローチである。 本稿では,テストセットの効率的な転送のための新しいアプローチであるGISTを紹介する。
  論文  参考訳（メタデータ） (2023-11-01T19:35:18Z)
• Neural Embeddings for Web Testing [49.66745368789056]
  既存のクローラは、状態等価性を評価するために、アプリ固有のしきい値ベースのアルゴリズムに依存している。 ニューラルネットワークの埋め込みとしきい値のない分類器に基づく新しい抽象関数WEBEMBEDを提案する。 WEBEMBEDは,9つのWebアプリケーションに対する評価の結果,近距離検出により最先端技術よりも精度が高いことがわかった。
  論文  参考訳（メタデータ） (2023-06-12T19:59:36Z)
• Sequential Kernelized Independence Testing [101.22966794822084]
  我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。 シミュレーションデータと実データの両方にアプローチのパワーを実証する。
  論文  参考訳（メタデータ） (2022-12-14T18:08:42Z)
• Many-Objective Reinforcement Learning for Online Testing of DNN-Enabled Systems [0.6690874707758508]
  ディープニューラルネットワーク(DNN)は、自律ダイビングシステム(ADS)のようなサイバー物理システムにおいて現実世界のタスクを実行するために広く利用されている。 このようなDNN-Enabled Systems(DES)の正しい動作を保証することが重要なトピックである。 オンラインテストは、そのようなシステムをクローズドループでアプリケーション環境(シミュレーションまたは現実)でテストするための有望なモードの1つです。 本稿では,強化学習(RL)と多目的探索を組み合わせることで,これらの課題に対処する新しいオンラインテスト手法であるMORLOTを提案する。
  論文  参考訳（メタデータ） (2022-10-27T13:53:37Z)
• Robust Continual Test-time Adaptation: Instance-aware BN and Prediction-balanced Memory [58.72445309519892]
  テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。 a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
  論文  参考訳（メタデータ） (2022-08-10T03:05:46Z)
• Distribution-Aware Testing of Neural Networks Using Generative Models [5.618419134365903]
  ディープニューラルネットワーク(DNN)をコンポーネントとして持つソフトウェアの信頼性は、緊急に重要である。 最近の3つのテスト手法が, かなりの数の不正なテスト入力を生成することを示す。 テスト生成プロセスにおいて,テスト中のDNNモデルの有効な入力空間を組み込む手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T17:18:21Z)
• Computing the Testing Error without a Testing Set [33.068870286618655]
  テストデータセットを必要としないトレーニングとテストの間のパフォーマンスギャップを推定するアルゴリズムを導出します。 これによって、アクセスできないサンプルでも、DNNのテストエラーを計算できます。
  論文  参考訳（メタデータ） (2020-05-01T15:35:50Z)
• Search-based Test-Case Generation by Monitoring Responsibility Safety Rules [2.1270496914042996]
  本研究では,シミュレーションに基づく運転テストデータのスクリーニングと分類を行う手法を提案する。 本フレームワークは,S-TALIROおよびSim-ATAVツールとともに配布されている。
  論文  参考訳（メタデータ） (2020-04-25T10:10:11Z)
• Dynamic Causal Effects Evaluation in A/B Testing with a Reinforcement Learning Framework [68.96770035057716]
  A/Bテスト(A/B Testing)は、新しい製品を製薬、技術、伝統産業の古い製品と比較するビジネス戦略である。 本稿では,オンライン実験においてA/Bテストを実施するための強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-05T10:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。