論文の概要: Improving Adversarial Robustness via Mutual Information Estimation

• arxiv url: http://arxiv.org/abs/2207.12203v1
• Date: Mon, 25 Jul 2022 13:45:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 15:24:57.204953
• Title: Improving Adversarial Robustness via Mutual Information Estimation
• Title（参考訳）: 相互情報推定による対向ロバスト性の向上
• Authors: Dawei Zhou, Nannan Wang, Xinbo Gao, Bo Han, Xiaoyu Wang, Yibing Zhan, Tongliang Liu
• Abstract要約: ディープニューラルネットワーク(DNN)は、敵の雑音に弱い。 本稿では,情報理論の観点から,対象モデルの出力と入力対向サンプルの依存性について検討する。 本稿では,自然MIの最大化と,学習過程における敵MIの最小化により,敵ロバスト性を高めることを提案する。
• 参考スコア（独自算出の注目度）: 144.33170440878519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) are found to be vulnerable to adversarial noise. They are typically misled by adversarial samples to make wrong predictions. To alleviate this negative effect, in this paper, we investigate the dependence between outputs of the target model and input adversarial samples from the perspective of information theory, and propose an adversarial defense method. Specifically, we first measure the dependence by estimating the mutual information (MI) between outputs and the natural patterns of inputs (called natural MI) and MI between outputs and the adversarial patterns of inputs (called adversarial MI), respectively. We find that adversarial samples usually have larger adversarial MI and smaller natural MI compared with those w.r.t. natural samples. Motivated by this observation, we propose to enhance the adversarial robustness by maximizing the natural MI and minimizing the adversarial MI during the training process. In this way, the target model is expected to pay more attention to the natural pattern that contains objective semantics. Empirical evaluations demonstrate that our method could effectively improve the adversarial accuracy against multiple attacks.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、敵対的ノイズに対して脆弱である。 彼らは通常、間違った予測を行うために敵のサンプルによって誤解される。 この否定的効果を緩和するため,本稿では,情報理論の観点から,対象モデルの出力と入力逆サンプルの依存性について検討し,逆防御法を提案する。 具体的には、まず、出力間の相互情報(MI)と入力の自然なパターン(自然MI)と入力の逆パターン(逆MI)との相互情報(MI)をそれぞれ推定して依存度を測定する。 敵のサンプルは、通常、w.r.t.の天然試料に比べて、敵のmiとより小さい自然miを持つ。 本研究の目的は, 自然MIの最大化と, 学習過程における敵MIの最小化により, 敵ロバスト性を高めることである。 このようにして、ターゲットモデルは、客観的セマンティクスを含む自然パターンにもっと注意を払うことが期待されます。 実験により,本手法は複数攻撃に対する対向精度を効果的に向上できることが示された。

関連論文リスト

• Transferable Adversarial Attacks on SAM and Its Downstream Models [87.23908485521439]
  本稿では,セグメント・アプライス・モデル(SAM)から微調整した様々な下流モデルに対する敵攻撃の可能性について検討する。 未知のデータセットを微調整したモデルに対する敵攻撃の有効性を高めるために,ユニバーサルメタ初期化(UMI)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-26T15:04:04Z)
• Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement [61.048842737581865]
  逆方向の微調整法は, 逆方向の訓練方法で, 自然に事前訓練されたモデルを微調整することにより, 逆方向の強靭性を高めることを目的としている。 特徴ギャップの原因となる潜伏する特徴を明示的にモデル化し,取り除く,アンタングルメントに基づくアプローチを提案する。 3つのベンチマークデータセットに対する実証的な評価は、我々のアプローチが既存の逆方向の微調整法や逆方向のトレーニングベースラインを超えていることを示している。
  論文  参考訳（メタデータ） (2024-01-26T08:38:57Z)
• Generating Adversarial Samples in Mini-Batches May Be Detrimental To Adversarial Robustness [0.0]
  本研究では, 対向試料生成時に使用するミニバッチサイズと, 対向試料の強度の関係について検討した。 逆サンプル強度がミニバッチサイズで劣化しないような損失関数を定式化する。 本研究は,敵対的攻撃の真の(実践的な)強さを過小評価する可能性,モデルの頑健さを過大評価するリスクを浮き彫りにした。
  論文  参考訳（メタデータ） (2023-03-30T21:42:50Z)
• Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning [80.21709045433096]
  対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。 距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。 予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
  論文  参考訳（メタデータ） (2022-11-04T13:54:02Z)
• Rethinking Machine Learning Robustness via its Link with the Out-of-Distribution Problem [16.154434566725012]
  本稿では,機械学習モデルの逆例に対する感受性の原因について検討する。 本稿では, 逆方向と自然方向の両方に反するOOD一般化法を提案する。 われわれのアプローチは、OODの敵入力に対する堅牢性を一貫して改善し、最先端の防御よりも優れています。
  論文  参考訳（メタデータ） (2022-02-18T00:17:23Z)
• Understanding the Logit Distributions of Adversarially-Trained Deep Neural Networks [6.439477789066243]
  敵の防御は、敵の攻撃による入力摂動に不変であるように、ディープニューラルネットワークを訓練する。 敵の攻撃を緩和するためには敵の訓練が成功しているが、敵の訓練を受けた(AT)モデルと標準モデルとの行動的差異はいまだに理解されていない。 対向性学習に不可欠な3つのロジット特性を同定する。
  論文  参考訳（メタデータ） (2021-08-26T19:09:15Z)
• Adversarial Robustness through the Lens of Causality [105.51753064807014]
  ディープニューラルネットワークの敵対的脆弱性は、機械学習において大きな注目を集めている。 我々は、因果関係を敵対的脆弱性の軽減に組み込むことを提案する。 我々の手法は、敵の脆弱性を緩和するために因果性を利用する最初の試みと見なすことができる。
  論文  参考訳（メタデータ） (2021-06-11T06:55:02Z)
• Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
  対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。 プレプロセス法は、ロバストネス劣化効果に悩まされることがある。 この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。 本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
  論文  参考訳（メタデータ） (2021-06-10T01:45:32Z)
• Recent Advances in Understanding Adversarial Robustness of Deep Neural Networks [15.217367754000913]
  敵の例に抵抗する高い堅牢性を持つモデルを得ることがますます重要である。 我々は、敵の攻撃と堅牢性について、予備的な定義を与える。 我々は、頻繁に使用されるベンチマークについて研究し、理論的に証明された敵の堅牢性の境界について言及する。
  論文  参考訳（メタデータ） (2020-11-03T07:42:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。