論文の概要: Holistic Approach to Measure Sample-level Adversarial Vulnerability and its Utility in Building Trustworthy Systems

• arxiv url: http://arxiv.org/abs/2205.02604v1
• Date: Thu, 5 May 2022 12:36:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 13:59:40.565819
• Title: Holistic Approach to Measure Sample-level Adversarial Vulnerability and its Utility in Building Trustworthy Systems
• Title（参考訳）: 信頼に足るシステム構築におけるサンプルレベルの敵対的脆弱性の測定とその実用性
• Authors: Gaurav Kumar Nayak, Ruchit Rawal, Rohit Lal, Himanshu Patil, Anirban Chakraborty
• Abstract要約: 敵対的攻撃は、知覚不能な雑音を伴うイメージを摂動させ、誤ったモデル予測をもたらす。 本稿では,異なる視点を組み合わせることで,サンプルの敵対的脆弱性を定量化するための総合的アプローチを提案する。 サンプルレベルで確実に敵の脆弱性を推定することにより、信頼できるシステムを開発できることを実証する。
• 参考スコア（独自算出の注目度）: 17.707594255626216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial attack perturbs an image with an imperceptible noise, leading to incorrect model prediction. Recently, a few works showed inherent bias associated with such attack (robustness bias), where certain subgroups in a dataset (e.g. based on class, gender, etc.) are less robust than others. This bias not only persists even after adversarial training, but often results in severe performance discrepancies across these subgroups. Existing works characterize the subgroup's robustness bias by only checking individual sample's proximity to the decision boundary. In this work, we argue that this measure alone is not sufficient and validate our argument via extensive experimental analysis. It has been observed that adversarial attacks often corrupt the high-frequency components of the input image. We, therefore, propose a holistic approach for quantifying adversarial vulnerability of a sample by combining these different perspectives, i.e., degree of model's reliance on high-frequency features and the (conventional) sample-distance to the decision boundary. We demonstrate that by reliably estimating adversarial vulnerability at the sample level using the proposed holistic metric, it is possible to develop a trustworthy system where humans can be alerted about the incoming samples that are highly likely to be misclassified at test time. This is achieved with better precision when our holistic metric is used over individual measures. To further corroborate the utility of the proposed holistic approach, we perform knowledge distillation in a limited-sample setting. We observe that the student network trained with the subset of samples selected using our combined metric performs better than both the competing baselines, viz., where samples are selected randomly or based on their distances to the decision boundary.
• Abstract（参考訳）: 敵対的攻撃は知覚不能な雑音で画像を乱し、誤ったモデル予測につながる。 近年では、データセット内の特定のサブグループ(例えば、クラスや性別などに基づく)が他よりも堅牢でないような攻撃(ロバストバイアス)に関連する固有のバイアスがいくつか示されている。 このバイアスは、逆行訓練後も持続するだけでなく、しばしばこれらのサブグループ間で深刻なパフォーマンスの相違をもたらす。 既存の作業は、個々のサンプルが決定境界に近接していることをチェックするだけで、サブグループの堅牢性バイアスを特徴づける。 本研究では,この尺度だけでは不十分であり,広範な実験分析を通じて議論を検証する。 敵の攻撃は入力画像の高周波成分を損なうことがしばしば観察されている。 そこで我々は,これらの異なる視点,すなわち,高周波特性へのモデルの依存度と,決定境界への(従来的)サンプル距離を組み合わせることにより,サンプルの逆脆弱性を定量化する包括的アプローチを提案する。 提案手法を用いて, サンプルレベルでの敵対的脆弱性を確実に推定することにより, 人間が検査時に誤分類される可能性が極めて高い入ってくるサンプルに対して, 信頼できるシステムを構築することが可能であることを実証した。 これは、我々の総合測度が個々の測度を超えるとより正確な精度で達成される。 提案する全体論的アプローチの有用性をさらに裏付けるために,限定サンプル設定で知識蒸留を行う。 組み合わせた測定値を用いて選択したサンプルのサブセットを用いてトレーニングした学生ネットワークは、ランダムに、あるいは決定境界までの距離に基づいて、競合するベースライン(viz.)の両方よりも優れた性能を示す。

関連論文リスト

• A3Rank: Augmentation Alignment Analysis for Prioritizing Overconfident Failing Samples for Deep Learning Models [2.6499018693213316]
  拡張アライメント解析を用いた新しいテストケース優先順位付け手法を提案する。 A3$Rankは、信頼ベースのリジェクタのチェックから逃れた失敗するサンプルを効果的にランク付けすることができる。 また、これらの故障したサンプルを保護するために、これらのリジェクタを増強する専用の検出器を構築するためのフレームワークも提供する。
  論文  参考訳（メタデータ） (2024-07-19T08:32:10Z)
• Confronting Discrimination in Classification: Smote Based on Marginalized Minorities in the Kernel Space for Imbalanced Data [0.0]
  決定境界とサンプル近接関係に基づく新しい分類オーバーサンプリング手法を提案する。 提案手法を古典的金融詐欺データセットで検証する。
  論文  参考訳（メタデータ） (2024-02-13T04:03:09Z)
• Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement [61.048842737581865]
  逆方向の微調整法は, 逆方向の訓練方法で, 自然に事前訓練されたモデルを微調整することにより, 逆方向の強靭性を高めることを目的としている。 特徴ギャップの原因となる潜伏する特徴を明示的にモデル化し,取り除く,アンタングルメントに基づくアプローチを提案する。 3つのベンチマークデータセットに対する実証的な評価は、我々のアプローチが既存の逆方向の微調整法や逆方向のトレーニングベースラインを超えていることを示している。
  論文  参考訳（メタデータ） (2024-01-26T08:38:57Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Identifying Adversarially Attackable and Robust Samples [1.4213973379473654]
  アドリアックは、入力サンプルに小さな、知覚不能な摂動を挿入し、ディープラーニングモデルの出力に大きな、望ましくない変化を引き起こす。 本研究は, 対人攻撃に最も影響を受けやすいサンプルを同定することを目的とした, サンプル攻撃可能性の概念を紹介する。 本研究では,未知のターゲットモデルに対する未知のデータセットにおいて,逆攻撃可能で頑健なサンプルを識別するディープラーニングベースの検出器を提案する。
  論文  参考訳（メタデータ） (2023-01-30T13:58:14Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• An Effective Baseline for Robustness to Distributional Shift [5.627346969563955]
  ディープラーニングシステムの安全なデプロイには,トレーニング中に見られるものと異なる入力のカテゴリに直面した場合,確実な予測を控えることが重要な要件である。 本論文では, 吸収の原理を用いた分布異常検出の簡便かつ高効率な手法を提案する。
  論文  参考訳（メタデータ） (2021-05-15T00:46:11Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Exploiting Sample Uncertainty for Domain Adaptive Person Re-Identification [137.9939571408506]
  各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。 不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2020-12-16T04:09:04Z)
• Closeness and Uncertainty Aware Adversarial Examples Detection in Adversarial Machine Learning [0.7734726150561088]
  敵のサンプルを検出するための2つの異なるメトリクス群の使用法を探索し、評価します。 敵検出のための新機能を導入し、これらの指標のパフォーマンスが使用される攻撃の強さに大きく依存していることを示します。
  論文  参考訳（メタデータ） (2020-12-11T14:44:59Z)
• Learning to Separate Clusters of Adversarial Representations for Robust Adversarial Detection [50.03939695025513]
  本稿では,最近導入された非破壊的特徴を動機とした新しい確率的対向検出器を提案する。 本稿では,非ロバスト特徴を逆例の共通性と考え,その性質に対応する表現空間におけるクラスターの探索が可能であることを推定する。 このアイデアは、別のクラスタ内の逆表現の確率推定分布を導出し、その分布を確率に基づく逆検出器として活用する。
  論文  参考訳（メタデータ） (2020-12-07T07:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。