論文の概要: Adversarial Finetuning with Latent Representation Constraint to Mitigate Accuracy-Robustness Tradeoff

• arxiv url: http://arxiv.org/abs/2308.16454v1
• Date: Thu, 31 Aug 2023 04:46:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-01 17:37:01.419504
• Title: Adversarial Finetuning with Latent Representation Constraint to Mitigate Accuracy-Robustness Tradeoff
• Title（参考訳）: 精度・ロバスト性トレードオフを緩和する潜在表現制約による逆調整
• Authors: Satoshi Suzuki, Shin'ya Yamaguchi, Shoichiro Takeda, Sekitoshi Kanai, Naoki Makishima, Atsushi Ando, Ryo Masumura
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)におけるクリーンな例に対する標準精度と敵の例に対するロバストさのトレードオフについて論じる。 本稿では, (i) 対逆微調整 (AFT) , (ii) 表現誘導型知識蒸留 (RGKD) , (iii) ノイズリプレイ (NR) の3成分からなる新しいAT法ARRESTを提案する。
• 参考スコア（独自算出の注目度）: 31.600725337209152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the tradeoff between standard accuracy on clean examples and robustness against adversarial examples in deep neural networks (DNNs). Although adversarial training (AT) improves robustness, it degrades the standard accuracy, thus yielding the tradeoff. To mitigate this tradeoff, we propose a novel AT method called ARREST, which comprises three components: (i) adversarial finetuning (AFT), (ii) representation-guided knowledge distillation (RGKD), and (iii) noisy replay (NR). AFT trains a DNN on adversarial examples by initializing its parameters with a DNN that is standardly pretrained on clean examples. RGKD and NR respectively entail a regularization term and an algorithm to preserve latent representations of clean examples during AFT. RGKD penalizes the distance between the representations of the standardly pretrained and AFT DNNs. NR switches input adversarial examples to nonadversarial ones when the representation changes significantly during AFT. By combining these components, ARREST achieves both high standard accuracy and robustness. Experimental results demonstrate that ARREST mitigates the tradeoff more effectively than previous AT-based methods do.
• Abstract（参考訳）: 本稿では、クリーンな例に対する標準的な精度と、ディープニューラルネットワーク(DNN)における敵の例に対する堅牢性とのトレードオフについて論じる。 対戦訓練(AT)は堅牢性を改善するが、標準精度を低下させ、トレードオフをもたらす。 このトレードオフを軽減するために、3つのコンポーネントからなるARRESTと呼ばれる新しいATメソッドを提案する。 (i)敵の微調整(AFT) (ii)表現誘導知識蒸留(rgkd)及び (iii)ノイズリプレイ(nr) AFTはDNNを敵の例で訓練し、パラメータをDNNで初期化する。 RGKDとNRはそれぞれ正規化項とアルゴリズムを持ち、AFT中のクリーンな例の潜在表現を保存する。 RGKDは、標準事前訓練されたDNNとAFT DNNの間の距離を罰する。 NRは、AFT中に表現が大きく変化すると、入力逆例を非逆例に切り替える。 これらのコンポーネントを組み合わせることで、ARRESTは高い標準精度と堅牢性の両方を達成する。 実験の結果、ARRESTは従来のATベースの手法よりも効果的にトレードオフを緩和することが示された。

関連論文リスト

• Improving Adversarial Training using Vulnerability-Aware Perturbation Budget [7.430861908931903]
  敵対的訓練(AT)は、敵対的攻撃に対するディープニューラルネットワーク(DNN)の堅牢性を効果的に改善する。 本稿では,AT の逆例に摂動境界を割り当てる簡易で安価な脆弱性認識型再重み付け関数を提案する。 実験の結果,提案手法は様々な攻撃に対してATアルゴリズムの頑健さを真に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-03-06T21:50:52Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Latent Feature Relation Consistency for Adversarial Robustness [80.24334635105829]
  深層ニューラルネットワークは、人間の知覚できない敵のノイズを自然の例に付加する敵の例を予測するときに、誤分類が起こる。 textbfLatent textbfFeature textbfRelation textbfConsistency (textbfLFRC)を提案する。 LFRCは、潜在空間における逆例の関係を、自然例と整合性に制約する。
  論文  参考訳（メタデータ） (2023-03-29T13:50:01Z)
• Improved and Interpretable Defense to Transferred Adversarial Examples by Jacobian Norm with Selective Input Gradient Regularization [31.516568778193157]
  ディープニューラルネットワーク(DNN)の堅牢性を改善するために、AT(Adversarial Training)がよく用いられる。 本研究では,ジャコビアンノルムと選択的入力勾配正規化(J-SIGR)に基づくアプローチを提案する。 実験により、提案したJ-SIGRは、転送された敵攻撃に対するロバスト性を向上し、ニューラルネットワークからの予測が容易に解釈できることが示されている。
  論文  参考訳（メタデータ） (2022-07-09T01:06:41Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• A Unified Wasserstein Distributional Robustness Framework for Adversarial Training [24.411703133156394]
  本稿では、ワッサーシュタイン分布のロバスト性と現在の最先端AT法を結合する統一的なフレームワークを提案する。 我々は、新しいワッサースタインコスト関数と、新しい一連のリスク関数を導入し、標準ATメソッドが我々のフレームワークのそれに対応する特別なケースであることを示す。 この接続は、既存のAT手法の直感的な緩和と一般化をもたらし、分散ロバスト性ATベースのアルゴリズムの新たなファミリーの開発を促進する。
  論文  参考訳（メタデータ） (2022-02-27T19:40:29Z)
• Sequence Transduction with Graph-based Supervision [96.04967815520193]
  ラベルのグラフ表現を受け入れるためにRNN-T損失を一般化するトランスデューサ目的関数を提案する。 CTC型格子を用いたトランスデューサベースのASRは,標準RNN-Tよりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-11-01T21:51:42Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Improving the Certified Robustness of Neural Networks via Consistency Regularization [25.42238710803711]
  敵の例によるニューラルネットワークの堅牢性を改善するために,様々な防御手法が提案されている。 これらの証明可能な防御メソッドのほとんどは、トレーニングプロセス中にすべての例を平等に扱う。 本論文では, 誤分類例による不整合を探究し, 誤分類例をより有効活用するために, 新たな整合性正規化項を加える。
  論文  参考訳（メタデータ） (2020-12-24T05:00:50Z)
• Adversarial Distributional Training for Robust Deep Learning [53.300984501078126]
  逆行訓練(AT)は、逆行例によるトレーニングデータを増やすことにより、モデルロバスト性を改善する最も効果的な手法の一つである。 既存のAT手法の多くは、敵の例を作らせるために特定の攻撃を採用しており、他の目に見えない攻撃に対する信頼性の低い堅牢性につながっている。 本稿では,ロバストモデル学習のための新しいフレームワークであるADTを紹介する。
  論文  参考訳（メタデータ） (2020-02-14T12:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。