論文の概要: Testing Deep Learning Models: A First Comparative Study of Multiple Testing Techniques

• arxiv url: http://arxiv.org/abs/2202.12139v1
• Date: Thu, 24 Feb 2022 15:05:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-25 21:53:09.564013
• Title: Testing Deep Learning Models: A First Comparative Study of Multiple Testing Techniques
• Title（参考訳）: ディープラーニングモデルのテスト: 複数のテストテクニックに関する最初の比較研究
• Authors: Mohit Kumar Ahuja, Arnaud Gotlieb, Helge Spieker
• Abstract要約: 視覚ベースのシステム(VBS)は、自律運転、ロボット手術、重要なインフラ監視、航空および海上交通管制などに用いられる。 ディープラーニング(DL)は、自律運転、ロボット手術、重要なインフラ監視、空気および海洋交通制御などの重要な応用において、視覚ベースのシステム(VBS)の能力に革命をもたらした。
• 参考スコア（独自算出の注目度）: 15.695048480513536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning (DL) has revolutionized the capabilities of vision-based systems (VBS) in critical applications such as autonomous driving, robotic surgery, critical infrastructure surveillance, air and maritime traffic control, etc. By analyzing images, voice, videos, or any type of complex signals, DL has considerably increased the situation awareness of these systems. At the same time, while relying more and more on trained DL models, the reliability and robustness of VBS have been challenged and it has become crucial to test thoroughly these models to assess their capabilities and potential errors. To discover faults in DL models, existing software testing methods have been adapted and refined accordingly. In this article, we provide an overview of these software testing methods, namely differential, metamorphic, mutation, and combinatorial testing, as well as adversarial perturbation testing and review some challenges in their deployment for boosting perception systems used in VBS. We also provide a first experimental comparative study on a classical benchmark used in VBS and discuss its results.
• Abstract（参考訳）: ディープラーニング(DL)は、自律運転、ロボット手術、インフラ監視、航空および海上交通制御などの重要な応用において、視覚ベースのシステム(VBS)の能力に革命をもたらした。 画像、音声、ビデオ、その他の複雑な信号を解析することにより、DLはこれらのシステムの状況意識を著しく高めている。 同時に、訓練されたdlモデルにますます依存する一方で、vbの信頼性と堅牢性が課題となり、これらのモデルを徹底的にテストして能力と潜在的なエラーを評価することが重要になっている。 DLモデルの欠陥を発見するため、既存のソフトウェアテスト手法が適応され、改良されている。 本稿では、これらのソフトウェアテスト手法の概要、すなわち、差動、変態、突然変異、組合せテスト、および対向摂動テストについて述べ、VBSで使用される知覚システムを強化するためのデプロイメントにおける課題についてレビューする。 また、VBSで使用される古典的ベンチマークに関する最初の実験的な比較研究を行い、その結果について論じる。

関連論文リスト

• Underwater Object Detection in the Era of Artificial Intelligence: Current, Challenge, and Future [119.88454942558485]
  水中物体検出(UOD)は、水中の画像やビデオ中の物体を識別し、ローカライズすることを目的としている。 近年、人工知能(AI)に基づく手法、特に深層学習法は、UODにおいて有望な性能を示している。
  論文  参考訳（メタデータ） (2024-10-08T00:25:33Z)
• Towards Testing and Evaluating Vision-Language-Action Models for Robotic Manipulation: An Empirical Study [7.8735930411335895]
  視覚言語アクション(VLA)モデルは、ロボット操作を前進させる可能性について多くの注目を集めている。 VLAモデルによって提供されるエンドツーエンドの知覚制御ループにもかかわらず、そのようなモデルの能力を包括的に理解する能力は欠如している。 VLAモデルの性能を評価するために,多様なロボット操作シーンを自動的に生成するテストフレームワークであるVLATestを提案する。
  論文  参考訳（メタデータ） (2024-09-19T16:33:00Z)
• Complementary Learning for Real-World Model Failure Detection [15.779651238128562]
  そこでは、異なる訓練パラダイムから学習特性を用いてモデルエラーを検出する。 我々は,制御的かつ自己管理的な方法で,点群における意味的および予測的動作ラベルを学習することにより,我々のアプローチを実証する。 大規模定性解析を行い、ライダー点雲にラベル付き異常を持つ最初のデータセットであるLidarCODAを提示する。
  論文  参考訳（メタデータ） (2024-07-19T13:36:35Z)
• Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
  我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。 提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
  論文  参考訳（メタデータ） (2024-05-29T06:09:34Z)
• MultiTest: Physical-Aware Object Insertion for Testing Multi-sensor Fusion Perception Systems [23.460181958075566]
  マルチセンサー融合(MSF、Multi-Sensor fusion)は、自動運転車や自動ロボットアームなど、多くの安全上重要なタスクや応用に対処する鍵となる技術である。 既存のテスト方法は、主に単一センサーの知覚システムに焦点を当てている。 複雑なMSF知覚システムのための適合性誘導型メタモルフィックテスト手法であるMultiTestを紹介する。
  論文  参考訳（メタデータ） (2024-01-25T17:03:02Z)
• Diffusion-based Visual Counterfactual Explanations -- Towards Systematic Quantitative Evaluation [64.0476282000118]
  視覚的対物的説明法(VCE)の最新手法は、深い生成モデルの力を利用して、印象的な画質の高次元画像の新しい例を合成する。 評価手順が大きく異なり,個々の実例の視覚検査や小規模なユーザスタディなど,これらのVCE手法の性能を比較することは,現時点では困難である。 本稿では,VCE手法の体系的,定量的評価のためのフレームワークと,使用する指標の最小セットを提案する。
  論文  参考訳（メタデータ） (2023-08-11T12:22:37Z)
• Robustness and Generalization Performance of Deep Learning Models on Cyber-Physical Systems: A Comparative Study [71.84852429039881]
  調査は、センサーの故障やノイズなど、様々な摂動を扱うモデルの能力に焦点を当てている。 我々は,これらのモデルの一般化と伝達学習能力を,アウト・オブ・ディストリビューション(OOD)サンプルに公開することによって検証する。
  論文  参考訳（メタデータ） (2023-06-13T12:43:59Z)
• Learning continuous models for continuous physics [94.42705784823997]
  本研究では,科学技術応用のための機械学習モデルを検証する数値解析理論に基づくテストを開発する。 本研究は,従来のMLトレーニング/テスト手法と一体化して,科学・工学分野におけるモデルの検証を行う方法である。
  論文  参考訳（メタデータ） (2022-02-17T07:56:46Z)
• Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
  オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。 本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。 その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2021-11-22T18:59:15Z)
• Using Neural Architecture Search for Improving Software Flaw Detection in Multimodal Deep Learning Models [2.5705339271809753]
  本研究では,ニューラルネットワークサーチ(NAS)とマルチモーダル学習モデルを組み合わせることで,さらに優れた性能が得られることを示す。 ソフトウェア欠陥検出問題に対する画像分類調査を目的としたNASフレームワークを適用し,Juliet Test Suiteで改善結果を示す。
  論文  参考訳（メタデータ） (2020-09-22T15:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。