論文の概要: A Differential Testing Framework to Evaluate Image Recognition Model Robustness

• arxiv url: http://arxiv.org/abs/2306.06208v1
• Date: Mon, 5 Jun 2023 23:07:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-18 12:41:00.964414
• Title: A Differential Testing Framework to Evaluate Image Recognition Model Robustness
• Title（参考訳）: 画像認識モデルロバスト性評価のための差分テストフレームワーク
• Authors: Nikolaos Louloudakis, Perry Gibson, Jos\'e Cano, and Ajitha Rajan
• Abstract要約: リアルタイム画像認識タスクの失敗は、ハードウェアアクセラレーターのサブ最適マッピングによって起こりうる。 本稿では,ディープラーニングモデルの変種生成,実行,差分解析,テストを可能にする差分テストフレームワークを提案する。 異なる設定における誤分類や推論時間の違いによる影響を報告する。
• 参考スコア（独自算出の注目度）: 0.7349727826230861
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Image recognition tasks typically use deep learning and require enormous processing power, thus relying on hardware accelerators like GPUs and TPUs for fast, timely processing. Failure in real-time image recognition tasks can occur due to sub-optimal mapping on hardware accelerators during model deployment, which may lead to timing uncertainty and erroneous behavior. Mapping on hardware accelerators is done through multiple software components like deep learning frameworks, compilers, device libraries, that we refer to as the computational environment. Owing to the increased use of image recognition tasks in safety-critical applications like autonomous driving and medical imaging, it is imperative to assess their robustness to changes in the computational environment, as the impact of parameters like deep learning frameworks, compiler optimizations, and hardware devices on model performance and correctness is not well understood. In this paper we present a differential testing framework, which allows deep learning model variant generation, execution, differential analysis and testing for a number of computational environment parameters. Using our framework, we conduct an empirical study of robustness analysis of three popular image recognition models using the ImageNet dataset, assessing the impact of changing deep learning frameworks, compiler optimizations, and hardware devices. We report the impact in terms of misclassifications and inference time differences across different settings. In total, we observed up to 72% output label differences across deep learning frameworks, and up to 82% unexpected performance degradation in terms of inference time, when applying compiler optimizations. Using the analysis tools in our framework, we also perform fault analysis to understand the reasons for the observed differences.
• Abstract（参考訳）: 画像認識タスクは一般的にディープラーニングを使用し、膨大な処理能力を必要とするため、高速でタイムリーな処理にはGPUやTPUなどのハードウェアアクセラレータに依存する。 リアルタイム画像認識タスクの失敗は、モデル展開中にハードウェアアクセラレーターのサブ最適マッピングによって起こり、タイミングの不確実性と誤動作を引き起こす可能性がある。 ハードウェアアクセラレータのマッピングは、ディープラーニングフレームワークやコンパイラ、デバイスライブラリといった、計算環境と呼ばれる複数のソフトウェアコンポーネントを通じて行われます。 自律運転や医用画像などの安全クリティカルなアプリケーションにおける画像認識タスクの利用の増加により、ディープラーニングフレームワークやコンパイラ最適化、ハードウェアデバイスなどのパラメータがモデル性能や正確性に与える影響がよく理解されていないため、計算環境の変化に対する彼らの堅牢性を評価することが不可欠である。 本稿では,多くの計算環境パラメータに対して,ディープラーニングモデルの生成,実行,差分解析,テストを可能にする差分テストフレームワークを提案する。 本研究では,imagenetデータセットを用いた3つの人気のある画像認識モデルのロバスト性解析を行い,ディープラーニングフレームワークの変更,コンパイラ最適化,ハードウェアデバイスへの影響を評価する。 異なる設定における誤分類や推論時間の違いによる影響を報告する。 合計で、ディープラーニングフレームワーク全体で最大72%のアウトプットラベルの差異を観測し、コンパイラの最適化を適用する場合、推論時間に関して予想外のパフォーマンス低下を最大82%観察した。 また,本フレームワークにおける解析ツールを用いて,観測された相違の原因を理解するために,故障解析を行う。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Sensitivity-Informed Augmentation for Robust Segmentation [21.609070498399863]
  カメラ品質の変動やレンズ歪みなどの内部ノイズはセグメンテーションモデルの性能に影響を与える可能性がある。 我々は,学習ベースセグメンテーションモデルの堅牢性を高めるために,効率的で適応性があり,勾配のない手法を提案する。
  論文  参考訳（メタデータ） (2024-06-03T15:25:45Z)
• Efficient Visual State Space Model for Image Deblurring [83.57239834238035]
  畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)は、画像復元において優れた性能を発揮している。 本稿では,画像のデブロアに対する簡易かつ効果的な視覚状態空間モデル(EVSSM)を提案する。
  論文  参考訳（メタデータ） (2024-05-23T09:13:36Z)
• DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement [77.0360085530701]
  水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。 従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。 提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
  論文  参考訳（メタデータ） (2023-12-12T06:07:21Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Photonic Accelerators for Image Segmentation in Autonomous Driving and Defect Detection [34.864059478265055]
  フォトニックコンピューティングは、従来のデジタルハードウェアよりも高速でエネルギー効率のよいディープニューラルネットワーク(DNN)推論を約束する。 特定のセグメンテーションモデルは、フォトニック加速器上で実行される場合の精度(デジタルfloat32モデルと比較して)が無視できることを示す。 我々は,このようなコンピュータビジョンタスクへのフォトニック加速器の適用を改善するための課題と潜在的な最適化について論じる。
  論文  参考訳（メタデータ） (2023-09-28T18:22:41Z)
• An Ensemble Model for Distorted Images in Real Scenarios [0.0]
  本稿では,オブジェクト検出器YOLOv7を用いてCDCOCOデータセットから歪み画像を検出する。 慎重に設計した最適化により,CDCOCOテストセット上での優れた性能を実現する。 我々のデノナイジング検出モデルは、歪んだ画像をデノナイズし、修復することができるため、様々な現実のシナリオや環境において有用である。
  論文  参考訳（メタデータ） (2023-09-26T15:12:55Z)
• Domain-Aware Few-Shot Learning for Optical Coherence Tomography Noise Reduction [0.0]
  光コヒーレンストモグラフィ(OCT)ノイズ低減のための数発の教師付き学習フレームワークを提案する。 このフレームワークは、トレーニング速度を劇的に向上させ、単一の画像または画像の一部だけを必要とし、対応するスペックルが地面の真実を抑圧する。 この結果から, 試料の複雑さ, 一般化, 時間効率を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-06-13T19:46:40Z)
• Exploring Effects of Computational Parameter Changes to Image Recognition Systems [0.802904964931021]
  リアルタイム画像認識タスクの失敗は、ハードウェアアクセラレータの誤ったマッピングによって起こりうる。 計算環境の変化に対するロバスト性を評価することが不可欠である。
  論文  参考訳（メタデータ） (2022-11-01T14:00:01Z)
• Learning to Learn Parameterized Classification Networks for Scalable Input Images [76.44375136492827]
  畳み込みニューラルネットワーク(CNN)は、入力解像度の変化に関して予測可能な認識動作を持たない。 我々はメタラーナーを用いて、様々な入力スケールのメインネットワークの畳み込み重みを生成する。 さらに、異なる入力解像度に基づいて、モデル予測よりもフライでの知識蒸留を利用する。
  論文  参考訳（メタデータ） (2020-07-13T04:27:25Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。