論文の概要: Testing Deep Learning Models: A First Comparative Study of Multiple
Testing Techniques
- arxiv url: http://arxiv.org/abs/2202.12139v1
- Date: Thu, 24 Feb 2022 15:05:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-25 21:53:09.564013
- Title: Testing Deep Learning Models: A First Comparative Study of Multiple
Testing Techniques
- Title(参考訳): ディープラーニングモデルのテスト: 複数のテストテクニックに関する最初の比較研究
- Authors: Mohit Kumar Ahuja, Arnaud Gotlieb, Helge Spieker
- Abstract要約: 視覚ベースのシステム(VBS)は、自律運転、ロボット手術、重要なインフラ監視、航空および海上交通管制などに用いられる。
ディープラーニング(DL)は、自律運転、ロボット手術、重要なインフラ監視、空気および海洋交通制御などの重要な応用において、視覚ベースのシステム(VBS)の能力に革命をもたらした。
- 参考スコア(独自算出の注目度): 15.695048480513536
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Learning (DL) has revolutionized the capabilities of vision-based
systems (VBS) in critical applications such as autonomous driving, robotic
surgery, critical infrastructure surveillance, air and maritime traffic
control, etc. By analyzing images, voice, videos, or any type of complex
signals, DL has considerably increased the situation awareness of these
systems. At the same time, while relying more and more on trained DL models,
the reliability and robustness of VBS have been challenged and it has become
crucial to test thoroughly these models to assess their capabilities and
potential errors. To discover faults in DL models, existing software testing
methods have been adapted and refined accordingly. In this article, we provide
an overview of these software testing methods, namely differential,
metamorphic, mutation, and combinatorial testing, as well as adversarial
perturbation testing and review some challenges in their deployment for
boosting perception systems used in VBS. We also provide a first experimental
comparative study on a classical benchmark used in VBS and discuss its results.
- Abstract(参考訳): ディープラーニング(DL)は、自律運転、ロボット手術、インフラ監視、航空および海上交通制御などの重要な応用において、視覚ベースのシステム(VBS)の能力に革命をもたらした。
画像、音声、ビデオ、その他の複雑な信号を解析することにより、DLはこれらのシステムの状況意識を著しく高めている。
同時に、訓練されたdlモデルにますます依存する一方で、vbの信頼性と堅牢性が課題となり、これらのモデルを徹底的にテストして能力と潜在的なエラーを評価することが重要になっている。
DLモデルの欠陥を発見するため、既存のソフトウェアテスト手法が適応され、改良されている。
本稿では、これらのソフトウェアテスト手法の概要、すなわち、差動、変態、突然変異、組合せテスト、および対向摂動テストについて述べ、VBSで使用される知覚システムを強化するためのデプロイメントにおける課題についてレビューする。
また、VBSで使用される古典的ベンチマークに関する最初の実験的な比較研究を行い、その結果について論じる。
関連論文リスト
- Review of the Learning-based Camera and Lidar Simulation Methods for
Autonomous Driving Systems [7.90336803821407]
本稿では,学習に基づくセンサシミュレーション手法と検証手法の現状について概説する。
これは、カメラとライダーの2種類の知覚センサーに焦点を当てている。
論文 参考訳(メタデータ) (2024-01-29T16:56:17Z) - MultiTest: Physical-Aware Object Insertion for Testing Multi-sensor
Fusion Perception Systems [23.460181958075566]
マルチセンサー融合(MSF、Multi-Sensor fusion)は、自動運転車や自動ロボットアームなど、多くの安全上重要なタスクや応用に対処する鍵となる技術である。
既存のテスト方法は、主に単一センサーの知覚システムに焦点を当てている。
複雑なMSF知覚システムのための適合性誘導型メタモルフィックテスト手法であるMultiTestを紹介する。
論文 参考訳(メタデータ) (2024-01-25T17:03:02Z) - A Reusable AI-Enabled Defect Detection System for Railway Using
Ensembled CNN [5.381374943525773]
欠陥検出は、鉄道システムの信頼性を確保するために不可欠である。
現在のアプローチは、CNNのような単一のディープラーニングモデルに依存している。
再利用可能なAI対応欠陥検出手法を提案する。
論文 参考訳(メタデータ) (2023-11-24T19:45:55Z) - Diffusion-based Visual Counterfactual Explanations -- Towards Systematic
Quantitative Evaluation [64.0476282000118]
視覚的対物的説明法(VCE)の最新手法は、深い生成モデルの力を利用して、印象的な画質の高次元画像の新しい例を合成する。
評価手順が大きく異なり,個々の実例の視覚検査や小規模なユーザスタディなど,これらのVCE手法の性能を比較することは,現時点では困難である。
本稿では,VCE手法の体系的,定量的評価のためのフレームワークと,使用する指標の最小セットを提案する。
論文 参考訳(メタデータ) (2023-08-11T12:22:37Z) - Robustness and Generalization Performance of Deep Learning Models on
Cyber-Physical Systems: A Comparative Study [71.84852429039881]
調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。
我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
論文 参考訳(メタデータ) (2023-06-13T12:43:59Z) - CONVIQT: Contrastive Video Quality Estimator [63.749184706461826]
知覚ビデオ品質評価(VQA)は、多くのストリーミングおよびビデオ共有プラットフォームにおいて不可欠な要素である。
本稿では,視覚的に関連のある映像品質表現を自己指導的に学習する問題について考察する。
本研究は, 自己教師型学習を用いて, 知覚力による説得力のある表現が得られることを示す。
論文 参考訳(メタデータ) (2022-06-29T15:22:01Z) - Learning continuous models for continuous physics [94.42705784823997]
本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。
本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
論文 参考訳(メタデータ) (2022-02-17T07:56:46Z) - Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。
本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。
その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
論文 参考訳(メタデータ) (2021-11-22T18:59:15Z) - Which priors matter? Benchmarking models for learning latent dynamics [70.88999063639146]
古典力学の先行概念を機械学習モデルに統合する手法が提案されている。
これらのモデルの現在の機能について、精査する。
連続的および時間的可逆的ダイナミクスの使用は、すべてのクラスのモデルに恩恵をもたらす。
論文 参考訳(メタデータ) (2021-11-09T23:48:21Z) - Using Neural Architecture Search for Improving Software Flaw Detection
in Multimodal Deep Learning Models [2.5705339271809753]
本研究では,ニューラルネットワークサーチ(NAS)とマルチモーダル学習モデルを組み合わせることで,さらに優れた性能が得られることを示す。
ソフトウェア欠陥検出問題に対する画像分類調査を目的としたNASフレームワークを適用し,Juliet Test Suiteで改善結果を示す。
論文 参考訳(メタデータ) (2020-09-22T15:59:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。