論文の概要: Detecting Brittle Decisions for Free: Leveraging Margin Consistency in Deep Robust Classifiers
- arxiv url: http://arxiv.org/abs/2406.18451v2
- Date: Mon, 22 Jul 2024 17:52:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 00:52:06.446074
- Title: Detecting Brittle Decisions for Free: Leveraging Margin Consistency in Deep Robust Classifiers
- Title（参考訳）: フリーの脆性判定:ディープロバスト分類器におけるマージン一貫性の活用
- Authors: Jonas Ngnawé, Sabyasachi Sahoo, Yann Pequignot, Frédéric Precioso, Christian Gagné,
- Abstract要約: ディープラーニングモデルの意思決定は、知覚できない摂動に敏感である。
敵攻撃を使用してインスタンス単位でモデルの脆弱性を評価することは、リアルタイムのデプロイメントシナリオには計算集約的であり、適さない。
本稿では,脆弱な試料の効率的な検出のためのマージン整合性の概念を紹介する。
- 参考スコア（独自算出の注目度）: 9.147975682184528
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Despite extensive research on adversarial training strategies to improve robustness, the decisions of even the most robust deep learning models can still be quite sensitive to imperceptible perturbations, creating serious risks when deploying them for high-stakes real-world applications. While detecting such cases may be critical, evaluating a model's vulnerability at a per-instance level using adversarial attacks is computationally too intensive and unsuitable for real-time deployment scenarios. The input space margin is the exact score to detect non-robust samples and is intractable for deep neural networks. This paper introduces the concept of margin consistency -- a property that links the input space margins and the logit margins in robust models -- for efficient detection of vulnerable samples. First, we establish that margin consistency is a necessary and sufficient condition to use a model's logit margin as a score for identifying non-robust samples. Next, through comprehensive empirical analysis of various robustly trained models on CIFAR10 and CIFAR100 datasets, we show that they indicate strong margin consistency with a strong correlation between their input space margins and the logit margins. Then, we show that we can effectively use the logit margin to confidently detect brittle decisions with such models and accurately estimate robust accuracy on an arbitrarily large test set by estimating the input margins only on a small subset. Finally, we address cases where the model is not sufficiently margin-consistent by learning a pseudo-margin from the feature representation. Our findings highlight the potential of leveraging deep representations to efficiently assess adversarial vulnerability in deployment scenarios.
- Abstract（参考訳）: 堅牢性を改善するための敵のトレーニング戦略に関する広範な研究にもかかわらず、最も堅牢なディープラーニングモデルの決定でさえも、認識不能な摂動に対して非常に敏感であり、それらが現実世界のアプリケーションにデプロイされる際に深刻なリスクを生じさせる可能性がある。
このようなケースを検出することは重要かも知れませんが、敵攻撃を使用してインスタンス単位の脆弱性を評価することは、リアルタイムのデプロイメントシナリオでは計算集約的であり、不適当です。
入力スペースマージンは、非ロバストなサンプルを検出するための正確なスコアであり、ディープニューラルネットワークにとって魅力的なものである。
本稿では、弱いサンプルを効率的に検出するために、入力スペースマージンとロジットマージンを結合する特性であるマージン一貫性の概念を紹介する。
まず、モデルのロジットマージンを非ロバスト標本を特定するためのスコアとして使用するためには、マージンの整合性が必要で十分であることを示す。
次に, CIFAR10 および CIFAR100 データセット上での頑健に訓練された各種モデルの包括的実験により, 入力空間マージンとロジットマージンとの間に強い相関関係を持つ強いマージン一貫性を示すことを示す。
そこで我々は,ロジットマージンを有効利用して,そのようなモデルによる不安定な決定を確実に検出し,入力マージンを小さなサブセットでのみ推定することにより,任意に大きなテストセット上で頑健な精度を正確に推定できることを示した。
最後に,特徴表現から擬似マージンを学習することで,モデルに十分なマージンが存在しないケースに対処する。
我々の研究結果は、ディープ表現を活用して、デプロイメントシナリオにおける敵の脆弱性を効率的に評価する可能性を浮き彫りにした。
関連論文リスト
- Learning from Noisy Labels via Conditional Distributionally Robust Optimization [5.85767711644773]
クラウドソーシングは、大規模なデータセットをラベル付けするための実用的なソリューションとして現れました。
これは、様々なレベルの専門知識を持つアノテータからのノイズの多いラベルによって、正確なモデルを学習する上で大きな課題となる。
論文 参考訳（メタデータ） (2024-11-26T05:03:26Z) - PUMA: margin-based data pruning [51.12154122266251]
モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。
我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。
PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2024-05-10T08:02:20Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳（メタデータ） (2023-12-27T09:03:43Z) - Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。
我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。
我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
論文 参考訳（メタデータ） (2023-08-01T10:02:26Z) - Characterizing Data Point Vulnerability via Average-Case Robustness [29.881355412540557]
対向ロバスト性は標準的なフレームワークであり、二眼レフを通して予測のロバスト性を見る。
我々は、局所的な点数を測定する平均ケースロバストネスと呼ばれる、ロバストネスの相補的な枠組みを考察する。
従来のディープラーニングモデルでは,推定値が正確かつ効率的であることを実証的に示す。
論文 参考訳（メタデータ） (2023-07-26T01:10:29Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳（メタデータ） (2023-04-19T14:58:27Z) - Distributionally Robust Model-Based Offline Reinforcement Learning with
Near-Optimal Sample Complexity [39.886149789339335]
オフライン強化学習は、積極的に探索することなく、履歴データから意思決定を行うことを学習することを目的としている。
環境の不確実性や変動性から,デプロイされた環境が,ヒストリデータセットの収集に使用される名目上のものから逸脱した場合でも,良好に機能するロバストなポリシーを学ぶことが重要である。
オフラインRLの分布的ロバストな定式化を考察し、有限水平および無限水平の両方でクルバック・リーブラー発散によって指定された不確実性セットを持つロバストマルコフ決定過程に着目する。
論文 参考訳（メタデータ） (2022-08-11T11:55:31Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Closeness and Uncertainty Aware Adversarial Examples Detection in
Adversarial Machine Learning [0.7734726150561088]
敵のサンプルを検出するための2つの異なるメトリクス群の使用法を探索し、評価します。
敵検出のための新機能を導入し、これらの指標のパフォーマンスが使用される攻撃の強さに大きく依存していることを示します。
論文 参考訳（メタデータ） (2020-12-11T14:44:59Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z) - Hidden Cost of Randomized Smoothing [72.93630656906599]
本稿では、現在のランダム化平滑化による副作用を指摘する。
具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
論文 参考訳（メタデータ） (2020-03-02T23:37:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。