論文の概要: Feature Statistics with Uncertainty Help Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2503.20583v1
• Date: Wed, 26 Mar 2025 14:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:18:11.440320
• Title: Feature Statistics with Uncertainty Help Adversarial Robustness
• Title（参考訳）: 不確実性をもつ対人ロバスト性のある特徴統計
• Authors: Ran Wang, Xinlei Zhou, Rihao Li, Meng Hu, Wenhui Wu, Yuheng Jia,
• Abstract要約: 敵対的攻撃はディープニューラルネットワーク(DNN)の信頼性に重大な課題をもたらす 不確実性のある特徴統計(FSU)と呼ばれる頑健性向上モジュールを提案する。 チャネルワイドの特徴手段と多変量ガウス分布からの例の標準偏差を再サンプリングし、攻撃された例を再構築し、シフトした分布を校正するのに役立つ。 提案したFSUモジュールは、トレーニング、アタック、予測、微調整に普遍的な適用性を持ち、より簡単な追加時間コストで顕著な堅牢性向上能力を示す。
• 参考スコア（独自算出の注目度）: 19.01087281157066
• License:
• Abstract: Despite the remarkable success of deep neural networks (DNNs), the security threat of adversarial attacks poses a significant challenge to the reliability of DNNs. By introducing randomness into different parts of DNNs, stochastic methods can enable the model to learn some uncertainty, thereby improving model robustness efficiently. In this paper, we theoretically discover a universal phenomenon that adversarial attacks will shift the distributions of feature statistics. Motivated by this theoretical finding, we propose a robustness enhancement module called Feature Statistics with Uncertainty (FSU). It resamples channel-wise feature means and standard deviations of examples from multivariate Gaussian distributions, which helps to reconstruct the attacked examples and calibrate the shifted distributions. The calibration recovers some domain characteristics of the data for classification, thereby mitigating the influence of perturbations and weakening the ability of attacks to deceive models. The proposed FSU module has universal applicability in training, attacking, predicting and fine-tuning, demonstrating impressive robustness enhancement ability at trivial additional time cost. For example, against powerful optimization-based CW attacks, by incorporating FSU into attacking and predicting phases, it endows many collapsed state-of-the-art models with 50%-80% robust accuracy on CIFAR10, CIFAR100 and SVHN.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の顕著な成功にもかかわらず、敵攻撃によるセキュリティの脅威は、DNNの信頼性に重大な課題をもたらす。 DNNの異なる部分にランダム性を導入することで、確率的手法はモデルの不確実性を学習し、モデルロバスト性を効率的に改善することができる。 本稿では,敵攻撃が特徴統計の分布を変えるという普遍的な現象を理論的に発見する。 この理論的な発見により,不確実性を伴う特徴統計(FSU)と呼ばれる頑健性向上モジュールを提案する。 チャネルワイドの特徴手段と多変量ガウス分布からの例の標準偏差を再サンプリングし、攻撃された例を再構築し、シフトした分布を校正するのに役立つ。 キャリブレーションは、分類のためのデータのいくつかの領域特性を回復し、摂動の影響を緩和し、モデルを欺く攻撃能力を弱める。 提案したFSUモジュールは、トレーニング、アタック、予測、微調整に普遍的な適用性を持ち、より簡単な追加時間コストで顕著な堅牢性向上能力を示す。 例えば、強力な最適化ベースのCW攻撃に対して、FSUを攻撃および予測フェーズに組み込むことで、CIFAR10、CIFAR100、SVHNに対して50%-80%の堅牢な精度で、多くの崩壊した最先端モデルを実現する。

関連論文リスト

• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
  本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
  論文  参考訳（メタデータ） (2023-02-28T13:17:56Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
  特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。 一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。 我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
  論文  参考訳（メタデータ） (2022-02-08T16:09:12Z)
• CC-Cert: A Probabilistic Approach to Certify General Robustness of Neural Networks [58.29502185344086]
  安全クリティカルな機械学習アプリケーションでは、モデルを敵の攻撃から守ることが不可欠である。 意味的に意味のある入力変換に対して、ディープラーニングモデルの証明可能な保証を提供することが重要である。 我々はChernoff-Cramer境界に基づく新しい普遍確率的証明手法を提案する。
  論文  参考訳（メタデータ） (2021-09-22T12:46:04Z)
• Adversarial Feature Stacking for Accurate and Robust Predictions [4.208059346198116]
  Adversarial Feature Stacking (AFS)モデルは、さまざまなレベルの堅牢性と精度を持つ機能を共同で活用することができる。 CIFAR-10およびCIFAR-100データセット上でのAFSモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-03-24T12:01:24Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。