論文の概要: Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization
- arxiv url: http://arxiv.org/abs/2310.12713v2
- Date: Sun, 10 Mar 2024 16:17:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 15:54:02.254678
- Title: Learn from the Past: A Proxy Guided Adversarial Defense Framework with
Self Distillation Regularization
- Title（参考訳）: 過去から学ぶ:自己蒸留規則化によるプロキシガイド付き敵防衛フレームワーク
- Authors: Yaohua Liu, Jiaxin Gao, Xianghao Jiao, Zhu Liu, Xin Fan, Risheng Liu
- Abstract要約: 敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。
AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
- 参考スコア（独自算出の注目度）: 53.04697800214848
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial Training (AT), pivotal in fortifying the robustness of deep
learning models, is extensively adopted in practical applications. However,
prevailing AT methods, relying on direct iterative updates for target model's
defense, frequently encounter obstacles such as unstable training and
catastrophic overfitting. In this context, our work illuminates the potential
of leveraging the target model's historical states as a proxy to provide
effective initialization and defense prior, which results in a general proxy
guided defense framework, `LAST' ({\bf L}earn from the P{\bf ast}).
Specifically, LAST derives response of the proxy model as dynamically learned
fast weights, which continuously corrects the update direction of the target
model. Besides, we introduce a self-distillation regularized defense objective,
ingeniously designed to steer the proxy model's update trajectory without
resorting to external teacher models, thereby ameliorating the impact of
catastrophic overfitting on performance. Extensive experiments and ablation
studies showcase the framework's efficacy in markedly improving model
robustness (e.g., up to 9.2\% and 20.3\% enhancement in robust accuracy on
CIFAR10 and CIFAR100 datasets, respectively) and training stability. These
improvements are consistently observed across various model architectures,
larger datasets, perturbation sizes, and attack modalities, affirming LAST's
ability to consistently refine both single-step and multi-step AT strategies.
The code will be available at~\url{https://github.com/callous-youth/LAST}.
- Abstract（参考訳）: 深層学習モデルの堅牢性を固める上で重要な相手訓練(AT)は,実践的応用において広く採用されている。
しかし、AT方式は、目標モデルの防御のために直接反復的な更新に依存し、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。
この文脈において、我々の研究は、ターゲットモデルの歴史的状態をプロキシとして活用し、効果的な初期化と防御を行う可能性を照らし、結果として一般的なプロキシガイド型防衛フレームワーク 'LAST' ({\bf L}earn from the P{\bf ast}) が生まれる。
具体的には、LASTはプロキシモデルの応答を動的に学習した高速ウェイトとして導き、ターゲットモデルの更新方向を継続的に修正する。
さらに,外部教師モデルに頼らずに,プロキシモデルの更新軌道を操り,破滅的なオーバーフィッティングがパフォーマンスに与える影響を改善するために,自己蒸留正規化防衛目標を導入する。
大規模な実験とアブレーション研究は、モデルロバスト性(例えば、CIFAR10データセットとCIFAR100データセットでそれぞれ9.2\%と20.3\%の堅牢性向上)とトレーニング安定性を著しく改善するフレームワークの有効性を示す。
これらの改善は、さまざまなモデルアーキテクチャ、より大きなデータセット、摂動サイズ、アタックモダリティで一貫して観察され、単一ステップと複数ステップのAT戦略を一貫して洗練するLASTの能力が確認されている。
コードは~\url{https://github.com/callous-youth/LAST}で入手できる。
関連論文リスト
- A Hybrid Defense Strategy for Boosting Adversarial Robustness in Vision-Language Models [9.304845676825584]
本稿では,複数の攻撃戦略と高度な機械学習技術を統合した,新たな敵訓練フレームワークを提案する。
CIFAR-10 や CIFAR-100 などの実世界のデータセットで行った実験により,提案手法がモデルロバスト性を大幅に向上することを示した。
論文 参考訳（メタデータ） (2024-10-18T23:47:46Z) - Dynamic Label Adversarial Training for Deep Learning Robustness Against Adversarial Attacks [11.389689242531327]
対人訓練は、モデルの堅牢性を高める最も効果的な方法の1つである。
従来のアプローチでは、主に敵の訓練に静的接地真理を用いるが、しばしば強固なオーバーフィッティングを引き起こす。
本稿では,動的ラベル対逆トレーニング(DYNAT)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-23T14:25:12Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - Robustness-Congruent Adversarial Training for Secure Machine Learning
Model Updates [13.911586916369108]
機械学習モデルにおける誤分類は、敵の例に対して堅牢性に影響を及ぼす可能性があることを示す。
この問題に対処するために,ロバストネス・コングロレント・逆行訓練という手法を提案する。
我々のアルゴリズムと、より一般的には、非回帰的制約で学習することは、一貫した推定器を訓練するための理論的に基底的なフレームワークを提供することを示す。
論文 参考訳（メタデータ） (2024-02-27T10:37:13Z) - Deep autoregressive density nets vs neural ensembles for model-based
offline reinforcement learning [2.9158689853305693]
本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。
このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。
D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
論文 参考訳（メタデータ） (2024-02-05T10:18:15Z) - Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。
私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
論文 参考訳（メタデータ） (2024-01-09T04:33:03Z) - Robust Spatiotemporal Traffic Forecasting with Reinforced Dynamic
Adversarial Training [13.998123723601651]
機械学習に基づく予測モデルは、Intelligent Transportation Systems(ITS)において、トラフィックパターンを予測するために一般的に使用されている。
既存のモデルのほとんどは敵攻撃の影響を受けやすいため、不正確な予測や、混雑や遅延などの負の結果につながる可能性がある。
交通予測タスクに敵対的トレーニングを組み込むための枠組みを提案する。
論文 参考訳（メタデータ） (2023-06-25T04:53:29Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Improved Adversarial Training via Learned Optimizer [101.38877975769198]
対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。
共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
論文 参考訳（メタデータ） (2020-04-25T20:15:53Z) - Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。
本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。
我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
論文 参考訳（メタデータ） (2020-02-20T08:42:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。