論文の概要: Interpreting Global Perturbation Robustness of Image Models using Axiomatic Spectral Importance Decomposition
- arxiv url: http://arxiv.org/abs/2408.01139v2
- Date: Sun, 18 Aug 2024 17:13:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 01:39:16.064161
- Title: Interpreting Global Perturbation Robustness of Image Models using Axiomatic Spectral Importance Decomposition
- Title（参考訳）: Axiomatic Spectral Importance Decomposition を用いた画像モデルの大域的摂動ロバスト性の解析
- Authors: Róisín Luo, James McDermott, Colm O'Riordan,
- Abstract要約: 摂動堅牢性は、データ破損や敵攻撃など、さまざまな摂動から生じるモデルの脆弱性を評価する。
本稿では,画像モデルの摂動ロバスト性を理解するために,モデルに依存しない大域的機械論的解釈法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Perturbation robustness evaluates the vulnerabilities of models, arising from a variety of perturbations, such as data corruptions and adversarial attacks. Understanding the mechanisms of perturbation robustness is critical for global interpretability. We present a model-agnostic, global mechanistic interpretability method to interpret the perturbation robustness of image models. This research is motivated by two key aspects. First, previous global interpretability works, in tandem with robustness benchmarks, e.g. mean corruption error (mCE), are not designed to directly interpret the mechanisms of perturbation robustness within image models. Second, we notice that the spectral signal-to-noise ratios (SNR) of perturbed natural images exponentially decay over the frequency. This power-law-like decay implies that: Low-frequency signals are generally more robust than high-frequency signals -- yet high classification accuracy can not be achieved by low-frequency signals alone. By applying Shapley value theory, our method axiomatically quantifies the predictive powers of robust features and non-robust features within an information theory framework. Our method, dubbed as \textbf{I-ASIDE} (\textbf{I}mage \textbf{A}xiomatic \textbf{S}pectral \textbf{I}mportance \textbf{D}ecomposition \textbf{E}xplanation), provides a unique insight into model robustness mechanisms. We conduct extensive experiments over a variety of vision models pre-trained on ImageNet to show that \textbf{I-ASIDE} can not only \textbf{measure} the perturbation robustness but also \textbf{provide interpretations} of its mechanisms.
- Abstract（参考訳）: 摂動堅牢性は、データ破損や敵攻撃など、さまざまな摂動から生じるモデルの脆弱性を評価する。
摂動堅牢性のメカニズムを理解することは、大域的解釈可能性にとって重要である。
本稿では,画像モデルの摂動ロバスト性を理解するために,モデルに依存しない大域的機械論的解釈法を提案する。
この研究は2つの重要な側面によって動機付けられている。
第一に、従来のグローバルな解釈可能性の研究は、例えば、画像モデル内での摂動堅牢性のメカニズムを直接解釈するようには設計されていない。
第2に、摂動自然画像のスペクトル信号-雑音比(SNR)が周波数上で指数関数的に減衰していることに気づく。
低周波信号は一般的に高周波信号よりも強いが、低周波信号だけでは高い分類精度は達成できない。
本手法は,Shapley値理論の適用により,情報理論フレームワーク内でのロバストな特徴と非ロバストな特徴の予測力を軸に定量化する。
提案手法は, モデルロバストネス機構について, モデルロバストネス機構に関するユニークな知見を提供する。
我々は、ImageNet上で事前訓練された様々な視覚モデルに対して広範な実験を行い、 \textbf{I-ASIDE} が摂動ロバスト性だけでなく、そのメカニズムの \textbf{provide 解釈も可能であることを示す。
関連論文リスト
- Stability and Generalizability in SDE Diffusion Models with Measure-Preserving Dynamics [11.919291977879801]
逆問題では、測定やデータから因果因子を推定する過程を記述する。
拡散モデルは、逆問題を解決する強力な生成ツールとして期待されている。
論文 参考訳（メタデータ） (2024-06-19T15:55:12Z) - Extreme Miscalibration and the Illusion of Adversarial Robustness [66.29268991629085]
敵の訓練は、しばしばモデルの堅牢性を高めるために使用される。
我々は、この観測されたロバストネスの利得はロバストネスの錯覚(IOR)であることを示した。
我々は,NLPコミュニティに対して,試験時間温度のスケーリングを堅牢性評価に組み込むよう促す。
論文 参考訳（メタデータ） (2024-02-27T13:49:12Z) - RobustMQ: Benchmarking Robustness of Quantized Models [54.15661421492865]
量子化は、限られたリソースを持つデバイスにディープニューラルネットワーク(DNN)をデプロイする上で不可欠なテクニックである。
我々は、ImageNet上の様々なノイズ(障害攻撃、自然破壊、系統的なノイズ)に対する量子化モデルのロバスト性について、徹底的に評価した。
我々の研究は、モデルとその実世界のシナリオにおける展開の堅牢な定量化を推し進めることに貢献している。
論文 参考訳（メタデータ） (2023-08-04T14:37:12Z) - Semantic Image Attack for Visual Model Diagnosis [80.36063332820568]
実際には、特定の列車およびテストデータセットに関する計量分析は、信頼性や公正なMLモデルを保証しない。
本稿では,セマンティック・イメージ・アタック(SIA)を提案する。
論文 参考訳（メタデータ） (2023-03-23T03:13:04Z) - Beyond the Universal Law of Robustness: Sharper Laws for Random Features
and Neural Tangent Kernels [14.186776881154127]
本稿では、ランダム特徴とニューラル・タンジェント・カーネル(NTK)の2つの設定における経験的リスク最小化に焦点を当てた。
ランダムな特徴に対して、モデルが任意のパラメータ化の度合いに対してロバストであることは、普遍的ロバスト性法則から生じる必要条件が満たされている場合でも証明する。
本研究の結果は, 合成および標準原型データセットの数値的証拠によって裏付けられている。
論文 参考訳（メタデータ） (2023-02-03T09:58:31Z) - Robustness via Uncertainty-aware Cycle Consistency [44.34422859532988]
非ペア画像-画像間の変換とは、対応する画像対を使わずに画像間マッピングを学習することを指す。
既存の手法は、外乱や予測の不確実性にロバスト性を明示的にモデル化することなく決定論的マッピングを学習する。
不確実性を考慮した一般化適応サイクル一貫性(UGAC)に基づく新しい確率的手法を提案する。
論文 参考訳（メタデータ） (2021-10-24T15:33:21Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Uncertainty-aware Generalized Adaptive CycleGAN [44.34422859532988]
unpaired image-to-image translationは、教師なしの方法で画像ドメイン間のマッピングを学ぶことを指す。
既存の手法はしばしば、外れ値への堅牢性や予測不確実性を明示的にモデル化せずに決定論的マッピングを学習する。
Uncertainty-aware Generalized Adaptive Cycle Consistency (UGAC) という新しい確率論的手法を提案する。
論文 参考訳（メタデータ） (2021-02-23T15:22:35Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳（メタデータ） (2020-10-15T16:57:27Z) - Understanding the Intrinsic Robustness of Image Distributions using
Conditional Generative Models [87.00072607024026]
本稿では,2つの画像ベンチマークの内在的堅牢性について,$ell$摂動下で検討する。
我々は、我々の理論によって示唆されるロバスト性限界と現在の最先端ロバストモデルによって達成される対角的ロバスト性の間に大きなギャップが存在することを示す。
論文 参考訳（メタデータ） (2020-03-01T01:45:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。