論文の概要: Towards Characterizing Adversarial Defects of Deep Learning Software from the Lens of Uncertainty

• arxiv url: http://arxiv.org/abs/2004.11573v1
• Date: Fri, 24 Apr 2020 07:29:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 04:20:29.594566
• Title: Towards Characterizing Adversarial Defects of Deep Learning Software from the Lens of Uncertainty
• Title（参考訳）: 不確実性レンズによる深層学習ソフトの逆欠陥評価に向けて
• Authors: Xiyue Zhang, Xiaofei Xie, Lei Ma, Xiaoning Du, Qiang Hu, Yang Liu, Jianjun Zhao, Meng Sun
• Abstract要約: 逆例(AE)は、緊急に対処するために必要な、典型的な、重要な欠陥のタイプを表します。 深層学習決定の本質的な不確実性は、その誤った振る舞いの根本的な理由である。 良性例(BE)とAEsの不確実性パターンを同定・分類し,既存の手法で生成されたBEとAEは共通不確実性パターンに従うが,他の不確実性パターンはほとんど欠落している。
• 参考スコア（独自算出の注目度）: 30.97582874240214
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past decade, deep learning (DL) has been successfully applied to many industrial domain-specific tasks. However, the current state-of-the-art DL software still suffers from quality issues, which raises great concern especially in the context of safety- and security-critical scenarios. Adversarial examples (AEs) represent a typical and important type of defects needed to be urgently addressed, on which a DL software makes incorrect decisions. Such defects occur through either intentional attack or physical-world noise perceived by input sensors, potentially hindering further industry deployment. The intrinsic uncertainty nature of deep learning decisions can be a fundamental reason for its incorrect behavior. Although some testing, adversarial attack and defense techniques have been recently proposed, it still lacks a systematic study to uncover the relationship between AEs and DL uncertainty. In this paper, we conduct a large-scale study towards bridging this gap. We first investigate the capability of multiple uncertainty metrics in differentiating benign examples (BEs) and AEs, which enables to characterize the uncertainty patterns of input data. Then, we identify and categorize the uncertainty patterns of BEs and AEs, and find that while BEs and AEs generated by existing methods do follow common uncertainty patterns, some other uncertainty patterns are largely missed. Based on this, we propose an automated testing technique to generate multiple types of uncommon AEs and BEs that are largely missed by existing techniques. Our further evaluation reveals that the uncommon data generated by our method is hard to be defended by the existing defense techniques with the average defense success rate reduced by 35\%. Our results call for attention and necessity to generate more diverse data for evaluating quality assurance solutions of DL software.
• Abstract（参考訳）: 過去10年間で、ディープラーニング(DL)は多くの産業ドメイン固有のタスクにうまく適用されてきた。 しかし、現在最先端のDLソフトウェアは依然として品質の問題に悩まされており、特に安全性とセキュリティクリティカルなシナリオの文脈で大きな懸念を巻き起こしている。 逆例(AE)は、緊急に対処するために必要な典型的な、重要な欠陥の型であり、DLソフトウェアが誤った判断を下す。 このような欠陥は、意図的な攻撃または入力センサーによって知覚される物理的世界ノイズによって発生し、さらなる産業展開を妨げる可能性がある。 深層学習決定の本質的な不確実性は、その不正確な行動の根本的な理由である。 近年,AEsとDLの不確実性を明らかにするための体系的な研究は行われていないが,いくつかの検査,敵攻撃,防御技術が近年提案されている。 本稿では,このギャップを橋渡しするための大規模研究を行う。 まず,入力データの不確実性パターンを特徴付ける良性例(bes)とaesの区別において,複数の不確実性指標の能力について検討する。 次に,besとaesの不確実性パターンを特定し分類し,既存の手法で生成されたbesとaesが共通の不確実性パターンに従うが,他の不確実性パターンはほとんど欠落していることを示す。 そこで本研究では,既存の技術にほとんど欠落している複数の非一般的なAEとBEを生成する自動テスト手法を提案する。 さらに,本手法が生成するまれなデータは,従来の防御技術では防御が困難であり,防御成功率の平均は35\%低下することが判明した。 本研究は,dlソフトウェアの品質保証ソリューションを評価するために,より多様なデータを生成する必要性と注意を喚起する。

関連論文リスト

• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Building Safe and Reliable AI systems for Safety Critical Tasks with Vision-Language Processing [1.2183405753834557]
  現在のAIアルゴリズムでは、障害検出の一般的な原因を特定できない。 予測の質を定量化するためには、追加のテクニックが必要である。 この論文は、分類、画像キャプション、視覚質問応答といったタスクのための視覚言語データ処理に焦点を当てる。
  論文  参考訳（メタデータ） (2023-08-06T18:05:59Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Uncertainty-Driven Action Quality Assessment [67.20617610820857]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)
• Hierarchical Distribution-Aware Testing of Deep Learning [13.254093944540438]
  深層学習(DL)は、安全クリティカルなアプリケーションでますます使われており、信頼性への懸念が高まっている。 逆数例(AEs)として知られる逆数摂動に直面した場合、DLは堅牢性に欠けるよく知られた問題に悩まされる。 本稿では,特徴量分布と画素レベル分布の両方を考慮したAE検出のための新しいロバストネステスト手法を提案する。
  論文  参考訳（メタデータ） (2022-05-17T19:13:55Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)
• Adversarial Example Detection for DNN Models: A Review [13.131592630524905]
  敵対的な例(AE)の目的は、ディープラーニングモデルを騙すことであり、DLアプリケーションに潜在的なリスクをもたらす。 少数のレビューと調査が出版され、理論的には脅威の分類と対策方法を示した。 このような方法に関する詳細な議論を行い、8つの最先端検出器の実験結果を示す。
  論文  参考訳（メタデータ） (2021-05-01T09:55:17Z)
• MixDefense: A Defense-in-Depth Framework for Adversarial Example Detection Based on Statistical and Semantic Analysis [14.313178290347293]
  AE検出のための多層ディフェンス・イン・ディープス・フレームワーク(MixDefense)を提案する。 入力から抽出した雑音の特徴を利用して、自然画像と改ざん画像の統計的差異を抽出し、AE検出を行う。 提案したMixDefenseソリューションは,既存のAE検出技術よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2021-04-20T15:57:07Z)
• Anomaly Detection Based on Selection and Weighting in Latent Space [73.01328671569759]
  SWADと呼ばれる新しい選択および重み付けに基づく異常検出フレームワークを提案する。 ベンチマークと実世界のデータセットによる実験は、SWADの有効性と優位性を示している。
  論文  参考訳（メタデータ） (2021-03-08T10:56:38Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• A Comparison of Uncertainty Estimation Approaches in Deep Learning Components for Autonomous Vehicle Applications [0.0]
  自律走行車(AV)の安全性を確保する主要な要因は、望ましくない、予測できない状況下での異常な行動を避けることである。 データやモデルにおける不確実性の定量化のための様々な手法が近年提案されている。 これらの手法では、高い計算負荷、高いメモリフットプリント、余分なレイテンシが要求され、安全クリティカルなアプリケーションでは禁止される。
  論文  参考訳（メタデータ） (2020-06-26T18:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。