論文の概要: Salient Information Preserving Adversarial Training Improves Clean and Robust Accuracy

• arxiv url: http://arxiv.org/abs/2501.09086v1
• Date: Wed, 15 Jan 2025 19:12:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:10:24.001922
• Title: Salient Information Preserving Adversarial Training Improves Clean and Robust Accuracy
• Title（参考訳）: 対人訓練のための有能な情報保存はクリーンでロバストな精度を向上する
• Authors: Timothy Redgrave, Adam Czajka,
• Abstract要約: SIP-AT(Salient Information Preserving Adversarial Training)を紹介する。 SIP-ATは、従来の敵の訓練によって引き起こされる堅牢性-正確性トレードオフを緩和するための直感的な方法である。 SIP-ATは、複数のエプシロンレベルの攻撃に対して高い堅牢性を保ちながら、モデルのクリーンな精度を高めることができることを示す。
• 参考スコア（独自算出の注目度）: 4.737519767218666
• License:
• Abstract: In this work we introduce Salient Information Preserving Adversarial Training (SIP-AT), an intuitive method for relieving the robustness-accuracy trade-off incurred by traditional adversarial training. SIP-AT uses salient image regions to guide the adversarial training process in such a way that fragile features deemed meaningful by an annotator remain unperturbed during training, allowing models to learn highly predictive non-robust features without sacrificing overall robustness. This technique is compatible with both human-based and automatically generated salience estimates, allowing SIP-AT to be used as a part of human-driven model development without forcing SIP-AT to be reliant upon additional human data. We perform experiments across multiple datasets and architectures and demonstrate that SIP-AT is able to boost the clean accuracy of models while maintaining a high degree of robustness against attacks at multiple epsilon levels. We complement our central experiments with an observational study measuring the rate at which human subjects successfully identify perturbed images. This study helps build a more intuitive understanding of adversarial attack strength and demonstrates the heightened importance of low-epsilon robustness. Our results demonstrate the efficacy of SIP-AT and provide valuable insight into the risks posed by adversarial samples of various strengths.
• Abstract（参考訳）: 本研究では,従来の対人訓練による堅牢性-正確性トレードオフを緩和するための直感的な手法であるSIP-ATを紹介する。 SIP-ATは、アノテータが意味する脆弱な特徴がトレーニング中に未成熟のままであり、全体的な堅牢性を犠牲にすることなく、高い予測的非破壊的特徴を学習することができるように、正反対の画像領域を用いて、敵の訓練プロセスをガイドする。 この手法は、人間に基づく評価と自動生成されたサリエンス推定の両方と互換性があり、SIP-ATを人為的なモデル開発の一部として使用することが可能であり、SIP-ATは追加の人的データに頼らざるを得ない。 我々は、複数のデータセットやアーキテクチャで実験を行い、SIP-ATが複数のエプシロンレベルの攻撃に対して高い堅牢性を保ちながら、モデルのクリーンな精度を高めることができることを示した。 我々は,ヒトの摂動画像の識別に成功率を測定する観察的研究により,中心的な実験を補完する。 本研究は、敵の攻撃強度をより直感的に理解し、低エプシロンロバスト性の重要性を高めるのに役立つ。 本研究は,SIP-ATの有効性を実証し,各種強度の敵検体によるリスクについての貴重な知見を提供する。

関連論文リスト

• Deep Learning Based Dense Retrieval: A Comparative Study [11.705651144832041]
  我々は, BERT, Dense Passage Retrieval (DPR), Contriever, SimCSE, ANCEなどのモデルを評価することにより, 汚染トークン化剤に対する高密度検索システムの脆弱性を評価する。 実験の結果, 小さな摂動でも精度に大きく影響し, 重要なアプリケーションにおける堅牢な防御の必要性が浮き彫りになった。
  論文  参考訳（メタデータ） (2024-10-27T02:52:36Z)
• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Adversarial Robustness Overestimation and Instability in TRADES [4.063518154926961]
  TRADES は多クラス分類タスクにおける AutoAttack テストの精度と比較して,PGD の検証精度が極めて高い場合が多い。 この矛盾は、勾配マスキングに結びつく可能性のある、これらのインスタンスに対するロバストネスのかなりの過大評価を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-10T07:32:40Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• The Pitfalls and Promise of Conformal Inference Under Adversarial Attacks [90.52808174102157]
  医療画像や自律運転などの安全クリティカルな応用においては、高い敵の堅牢性を維持し、潜在的敵の攻撃から保護することが不可欠である。 敵対的に訓練されたモデルに固有の不確実性に関して、注目すべき知識ギャップが残っている。 本研究では,共形予測(CP)の性能を標準対向攻撃の文脈で検証することにより,ディープラーニングモデルの不確実性について検討する。
  論文  参考訳（メタデータ） (2024-05-14T18:05:19Z)
• Enhancing Robustness in Incremental Learning with Adversarial Training [15.184564265850382]
  本研究では,漸進学習における対人ロバスト性を扱うARCIL(Adversarially Robust Class Incremental Learning)について検討する。 まず,新たな知識の獲得と過去の知識の保持の相反を招き,既存の学習手法と漸進的な学習を統合した一連のベースラインについて検討する。 textbfFLatness-versa textbfAdversarial textbfIncremental Learning for textbfRobustness (textbfFLAIR)。
  論文  参考訳（メタデータ） (2023-12-06T04:38:02Z)
• On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training [109.9218185711916]
  アスペクトベースの感情分析(ABSA)は、ソーシャルメディアのテキストやレビューの背後にある製品やサービスの特定の側面に対して、特定の感情の極性を自動的に推測することを目的としている。 我々は、モデル、データ、トレーニングを含むあらゆる可能な角度からボトルネックを体系的に再考することで、ABSAの堅牢性を高めることを提案する。
  論文  参考訳（メタデータ） (2023-04-19T11:07:43Z)
• Improving the Adversarial Robustness of NLP Models by Information Bottleneck [112.44039792098579]
  非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。 本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。 情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
  論文  参考訳（メタデータ） (2022-06-11T12:12:20Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。