論文の概要: InfoAT: Improving Adversarial Training Using the Information Bottleneck Principle

• arxiv url: http://arxiv.org/abs/2206.12292v1
• Date: Thu, 23 Jun 2022 03:20:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 08:55:56.959167
• Title: InfoAT: Improving Adversarial Training Using the Information Bottleneck Principle
• Title（参考訳）: InfoAT:Information Bottleneck Principle を用いた対人訓練の改善
• Authors: Mengting Xu, Tao Zhang, Zhongnian Li, Daoqiang Zhang
• Abstract要約: 対人訓練 (AT) は, 対人訓練に対する防御効果が良好である。 我々は,新しい効果的な対人訓練法(InfoAT)を提案する。 実験の結果,InfoATはいくつかの最先端手法と比較して,異なるデータセットやモデル間で最高のロバスト性を達成していることがわかった。
• 参考スコア（独自算出の注目度）: 22.531976474053057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adversarial training (AT) has shown excellent high performance in defending against adversarial examples. Recent studies demonstrate that examples are not equally important to the final robustness of models during AT, that is, the so-called hard examples that can be attacked easily exhibit more influence than robust examples on the final robustness. Therefore, guaranteeing the robustness of hard examples is crucial for improving the final robustness of the model. However, defining effective heuristics to search for hard examples is still difficult. In this article, inspired by the information bottleneck (IB) principle, we uncover that an example with high mutual information of the input and its associated latent representation is more likely to be attacked. Based on this observation, we propose a novel and effective adversarial training method (InfoAT). InfoAT is encouraged to find examples with high mutual information and exploit them efficiently to improve the final robustness of models. Experimental results show that InfoAT achieves the best robustness among different datasets and models in comparison with several state-of-the-art methods.
• Abstract（参考訳）: 対人訓練 (AT) は, 対人訓練に対して優れた成績を示した。 近年の研究では、AT中のモデルの最終ロバスト性には例が等しく重要でないことが示されており、いわゆるハード例は最終ロバスト性に対するロバスト性よりも容易に攻撃できる。 したがって、モデルの最終的な堅牢性を改善するためには、ハードサンプルの堅牢性を保証することが不可欠である。 しかし、難しい例を探すための効果的なヒューリスティックスを定義することは依然として難しい。 本稿では、情報ボトルネック(IB)の原則に着想を得て、入力と関連する潜伏表現の相互情報が高い例が攻撃されやすいことを明らかにする。 そこで本研究では,新しい効果的な対人訓練法(InfoAT)を提案する。 infoatは、高い相互情報を持つ例を見つけ、それらを効率的に活用してモデルの最終的な堅牢性を改善することを推奨されている。 実験の結果,InfoATはいくつかの最先端手法と比較して,異なるデータセットやモデル間で最高の堅牢性を達成していることがわかった。

関連論文リスト

• OMG-ATTACK: Self-Supervised On-Manifold Generation of Transferable Evasion Attacks [17.584752814352502]
  Evasion Attacks (EA) は、入力データを歪ませることで、トレーニングされたニューラルネットワークの堅牢性をテストするために使用される。 本稿では, 自己教師型, 計算的経済的な手法を用いて, 対逆例を生成する手法を提案する。 我々の実験は、この手法が様々なモデル、目に見えないデータカテゴリ、さらには防御されたモデルで有効であることを一貫して実証している。
  論文  参考訳（メタデータ） (2023-10-05T17:34:47Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• The Enemy of My Enemy is My Friend: Exploring Inverse Adversaries for Improving Adversarial Training [72.39526433794707]
  敵の訓練とその変種は、敵の例に対抗して最も効果的なアプローチであることが示されている。 本稿では,モデルが類似した出力を生成することを奨励する,新たな対角訓練手法を提案する。 本手法は,最先端のロバスト性および自然な精度を実現する。
  論文  参考訳（メタデータ） (2022-11-01T15:24:26Z)
• Improving the Adversarial Robustness of NLP Models by Information Bottleneck [112.44039792098579]
  非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。 本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。 情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-11T12:12:20Z)
• Adversarial Examples for Good: Adversarial Examples Guided Imbalanced Learning [15.370413523189749]
  不均衡データの扱い方に関する新たな視点として,GAE(Guiding Adversarial Examples)によるトレーニングによるバイアス付き決定境界の調整について述べる。 本手法は,少数クラスの精度を効果的に向上し,多数派の精度を損なうことができる。
  論文  参考訳（メタデータ） (2022-01-28T09:13:07Z)
• Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
  モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。 本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:59:42Z)
• The Evolution of Out-of-Distribution Robustness Throughout Fine-Tuning [25.85044477227461]
  このベースラインに対するアウト・オブ・ディストリビューションデータより正確であるモデルは「有効ロバスト性」を示す。 より大規模なデータセットで事前トレーニングされたモデルは、収束時に消滅するトレーニング中に効果的な堅牢性を示す。 本稿では, 最先端システムに効率的なロバスト性を拡張し, 最先端モデルの分布外精度を向上させるためのいくつかの戦略について論じる。
  論文  参考訳（メタデータ） (2021-06-30T06:21:42Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。