論文の概要: Feature Statistics with Uncertainty Help Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2503.20583v2
• Date: Mon, 09 Jun 2025 11:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 01:40:32.546371
• Title: Feature Statistics with Uncertainty Help Adversarial Robustness
• Title（参考訳）: 不確実性をもつ対人ロバスト性のある特徴統計
• Authors: Ran Wang, Xinlei Zhou, Meng Hu, Rihao Li, Wenhui Wu, Yuheng Jia,
• Abstract要約: 敵の攻撃は 特徴統計の分布を 変える傾向がある 頑健性向上のための不確実性駆動型特徴統計調整モジュールを提案する。 提案されたFSUモジュールは、トレーニング、アタック、予測、微調整に普遍的に適用可能である。
• 参考スコア（独自算出の注目度）: 19.01087281157066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable success of deep neural networks (DNNs), the security threat of adversarial attacks poses a significant challenge to the reliability of DNNs. In this paper, both theoretically and empirically, we discover a universal phenomenon that has been neglected in previous works, i.e., adversarial attacks tend to shift the distributions of feature statistics. Motivated by this finding, and by leveraging the advantages of uncertainty-aware stochastic methods in building robust models efficiently, we propose an uncertainty-driven feature statistics adjustment module for robustness enhancement, named Feature Statistics with Uncertainty (FSU). It randomly resamples channel-wise feature means and standard deviations of examples from multivariate Gaussian distributions, which helps to reconstruct the perturbed examples and calibrate the shifted distributions. The calibration recovers some domain characteristics of the data for classification, thereby mitigating the influence of perturbations and weakening the ability of attacks to deceive models. The proposed FSU module has universal applicability in training, attacking, predicting, and fine-tuning, demonstrating impressive robustness enhancement ability at a trivial additional time cost. For example, by fine-tuning the well-established models with FSU, the state-of-the-art methods achieve up to 17.13% and 34.82% robustness improvement against powerful AA and CW attacks on benchmark datasets.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の顕著な成功にもかかわらず、敵攻撃によるセキュリティの脅威は、DNNの信頼性に重大な課題をもたらす。 本稿では,従来の研究で無視されていた普遍現象,すなわち,敵対的攻撃が特徴統計の分布を変える傾向があることを発見した。 この発見に動機付けられ、ロバストモデル構築における不確実性を考慮した確率的手法の利点を有効活用することにより、ロバスト性向上のための不確実性を考慮した特徴統計調整モジュール(FSU)を提案する。 多変量ガウス分布のチャネルワイド特徴平均と標準偏差をランダムに再サンプリングし、乱れた例を再構成し、シフトした分布を校正するのに役立つ。 キャリブレーションは、分類のためのデータのいくつかの領域特性を回復し、摂動の影響を緩和し、モデルを欺く攻撃能力を弱める。 提案したFSUモジュールは、トレーニング、アタック、予測、微調整に普遍的な適用性を持ち、簡単な追加時間コストで顕著な堅牢性向上能力を示す。 例えば、よく確立されたモデルをFSUで微調整することで、最先端の手法はベンチマークデータセットに対する強力なAAおよびCW攻撃に対して17.13%と34.82%の堅牢性を達成できる。

関連論文リスト

• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
  本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
  論文  参考訳（メタデータ） (2023-02-28T13:17:56Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• CC-Cert: A Probabilistic Approach to Certify General Robustness of Neural Networks [58.29502185344086]
  安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。 意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。 我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
  論文  参考訳（メタデータ） (2021-09-22T12:46:04Z)
• Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
  Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。 CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-03-24T12:01:24Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。