論文の概要: IB-RAR: Information Bottleneck as Regularizer for Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2302.10896v2
• Date: Wed, 31 May 2023 13:24:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 20:34:33.925188
• Title: IB-RAR: Information Bottleneck as Regularizer for Adversarial Robustness
• Title（参考訳）: IB-RAR:逆ロバスト性のための正則化器としての情報基盤
• Authors: Xiaoyun Xu, Guilherme Perin, Stjepan Picek
• Abstract要約: 実験結果から,本手法は逆行訓練と自然に組み合わせることができ,新しい逆行訓練の精度を一貫して向上させることができることがわかった。 また,提案手法は,クロスエントロピー損失のみのトレーニングなど,無防備な手法に対して優れたロバスト性を提供する。
• 参考スコア（独自算出の注目度）: 6.92902550987764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel method, IB-RAR, which uses Information Bottleneck (IB) to strengthen adversarial robustness for both adversarial training and non-adversarial-trained methods. We first use the IB theory to build regularizers as learning objectives in the loss function. Then, we filter out unnecessary features of intermediate representation according to their mutual information (MI) with labels, as the network trained with IB provides easily distinguishable MI for its features. Experimental results show that our method can be naturally combined with adversarial training and provides consistently better accuracy on new adversarial examples. Our method improves the accuracy by an average of 3.07% against five adversarial attacks for the VGG16 network, trained with three adversarial training benchmarks and the CIFAR-10 dataset. In addition, our method also provides good robustness for undefended methods, such as training with cross-entropy loss only. Finally, in the absence of adversarial training, the VGG16 network trained using our method and the CIFAR-10 dataset reaches an accuracy of 35.86% against PGD examples, while using all layers reaches 25.61% accuracy.
• Abstract（参考訳）: 本稿では, 対人訓練と非対人訓練の両方において, 対人堅牢性を高めるため, 情報ブートネック (IB) を用いた新しい手法 IB-RAR を提案する。 IB理論を用いて、損失関数の学習目的として正規化器を構築する。 IBで訓練されたネットワークは、その特徴に対して容易に識別可能なMIを提供するので、ラベルとの相互情報(MI)に応じて、中間表現の不必要な特徴をフィルタリングする。 実験の結果,本手法はadversarial trainingと自然に組み合わされ,新しいadversarial例において一貫して精度が向上することが示された。 本手法は,vgg16ネットワークの5つの攻撃に対して平均3.07%の精度を向上し,3つの攻撃訓練ベンチマークとcifar-10データセットを用いてトレーニングを行う。 さらに,提案手法は,クロスエントロピー損失のみのトレーニングなど,無防備な手法にも優れたロバスト性を提供する。 最後に、我々の手法を用いてトレーニングされたVGG16ネットワークとCIFAR-10データセットはPGDの例に対して35.86%の精度に達し、すべてのレイヤを使用すると25.61%の精度に達する。

関連論文リスト

• Batch-in-Batch: a new adversarial training framework for initial perturbation and sample selection [9.241737058291823]
  適応学習法は, 単純な一様分布から, 対向サンプルに対する独立な初期摂動を生成する。 モデルを強化するため,Batch-in-Batchと呼ばれるシンプルで効果的なトレーニングフレームワークを提案する。 BBフレームワーク内でトレーニングされたモデルは、様々な対角的設定において、常に高い対角的精度を有することを示す。
  論文  参考訳（メタデータ） (2024-06-06T13:34:43Z)
• Class Incremental Learning for Adversarial Robustness [17.06592851567578]
  アドリラルトレーニングは、モデルトレーニング中の敵の例を統合して、堅牢性を高める。 直感的な対人訓練と漸進的な学習を組み合わせることで、頑健さが失われることが容易に分かる。 本稿では, 対向型とクリーン型との出力差を生かしたFPD損失を提案する。
  論文  参考訳（メタデータ） (2023-12-06T04:38:02Z)
• Outlier Robust Adversarial Training [57.06824365801612]
  本研究では,アウトリー・ロバスト・アドバイザリアル・トレーニング(ORAT)を紹介する。 ORATは、強靭なランクに基づく損失関数を持つ対向訓練の2レベル最適化の定式化に基づいている。 ORATの学習目的はバイナリ分類における$mathcalH$-consistencyを満たすことが示され、これは敵の0/1損失に対する適切なサロゲートとして確立されている。
  論文  参考訳（メタデータ） (2023-09-10T21:36:38Z)
• Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
  余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。 本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。 以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
  論文  参考訳（メタデータ） (2023-06-25T15:53:31Z)
• Bayesian Learning with Information Gain Provably Bounds Risk for a Robust Adversarial Defense [27.545466364906773]
  敵攻撃に対して堅牢なディープニューラルネットワークモデルを学習するための新しいアルゴリズムを提案する。 本モデルでは, PGD 攻撃下での対人訓練と Adv-BNN との比較により, 強靭性は20%まで向上した。
  論文  参考訳（メタデータ） (2022-12-05T03:26:08Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning [134.15174177472807]
  対戦型トレーニングを自己超越に導入し,汎用的な頑健な事前訓練モデルを初めて提供する。 提案するフレームワークが大きなパフォーマンスマージンを達成できることを示すため,広範な実験を行う。
  論文  参考訳（メタデータ） (2020-03-28T18:28:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。