論文の概要: Learn from the Past: A Proxy based Adversarial Defense Framework to Boost Robustness

• arxiv url: http://arxiv.org/abs/2310.12713v1
• Date: Thu, 19 Oct 2023 13:13:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 15:14:25.683854
• Title: Learn from the Past: A Proxy based Adversarial Defense Framework to Boost Robustness
• Title（参考訳）: 過去から学ぶ - 堅牢性を高めるためのプロキシベースの敵防御フレームワーク
• Authors: Yaohua Liu, Jiaxin Gao, Zhu Liu, Xianghao Jiao, Xin Fan, Risheng Liu
• Abstract要約: 本稿では、目標モデルとそれに対応する欠陥の更新規則を、現状に基づいて再考する。 ターゲットモデルの履歴状態をプロキシとして導入することにより、2段階の更新ルールを定式化し、汎用的な敵防衛フレームワークを実現する。 実験では,一連の単段および多段AT手法を精錬することにより,一貫した,重要な性能向上を実証した。
• 参考スコア（独自算出の注目度）: 53.04697800214848
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In light of the vulnerability of deep learning models to adversarial samples and the ensuing security issues, a range of methods, including Adversarial Training (AT) as a prominent representative, aimed at enhancing model robustness against various adversarial attacks, have seen rapid development. However, existing methods essentially assist the current state of target model to defend against parameter-oriented adversarial attacks with explicit or implicit computation burdens, which also suffers from unstable convergence behavior due to inconsistency of optimization trajectories. Diverging from previous work, this paper reconsiders the update rule of target model and corresponding deficiency to defend based on its current state. By introducing the historical state of the target model as a proxy, which is endowed with much prior information for defense, we formulate a two-stage update rule, resulting in a general adversarial defense framework, which we refer to as `LAST' ({\bf L}earn from the P{\bf ast}). Besides, we devise a Self Distillation (SD) based defense objective to constrain the update process of the proxy model without the introduction of larger teacher models. Experimentally, we demonstrate consistent and significant performance enhancements by refining a series of single-step and multi-step AT methods (e.g., up to $\bf 9.2\%$ and $\bf 20.5\%$ improvement of Robust Accuracy (RA) on CIFAR10 and CIFAR100 datasets, respectively) across various datasets, backbones and attack modalities, and validate its ability to enhance training stability and ameliorate catastrophic overfitting issues meanwhile.
• Abstract（参考訳）: 敵のサンプルに対するディープラーニングモデルの脆弱性やその後のセキュリティ問題を踏まえ、様々な敵の攻撃に対するモデルの堅牢性を高めることを目的とした、敵の訓練(AT)など、様々な手法が急速に発展してきた。 しかし、既存の手法は、パラメータ指向の敵攻撃を明示的あるいは暗黙的な計算負荷で防御する目標モデルの現在の状態を支援するものであり、最適化軌道の不整合による不安定な収束挙動にも悩まされている。 本報告では,従来の研究から切り離して,目標モデルの更新ルールとそれに対応する欠陥を,現状に基づいて再考する。 ターゲットモデルの歴史的状態をプロキシとして導入し、防衛のための事前情報を提供することによって、2段階の更新ルールを定式化し、「LAST ({\bf L}earn from the P{\bf ast})」と呼ばれる一般的な敵防衛フレームワークを作成した。 さらに,より大きな教師モデルを導入することなく,プロキシモデルの更新プロセスを制限するために,自己蒸留(sd)ベースの防衛目標を考案する。 実験では,CIFAR10およびCIFAR100データセット上でのロバスト精度(RA)を最大$\bf 9.2\%および$\bf 20.5\%で改善した一連のシングルステップATメソッドを,各種データセット,バックボーン,アタックモードで一貫したパフォーマンス向上を実現し,トレーニング安定性の向上と破滅的なオーバーフィッティング問題を緩和する能力の検証を行った。

関連論文リスト

• A Hybrid Defense Strategy for Boosting Adversarial Robustness in Vision-Language Models [9.304845676825584]
  本稿では,複数の攻撃戦略と高度な機械学習技術を統合した,新たな敵訓練フレームワークを提案する。 CIFAR-10 や CIFAR-100 などの実世界のデータセットで行った実験により,提案手法がモデルロバスト性を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-18T23:47:46Z)
• Dynamic Label Adversarial Training for Deep Learning Robustness Against Adversarial Attacks [11.389689242531327]
  対人訓練は、モデルの堅牢性を高める最も効果的な方法の1つである。 従来のアプローチでは、主に敵の訓練に静的接地真理を用いるが、しばしば強固なオーバーフィッティングを引き起こす。 本稿では,動的ラベル対逆トレーニング(DYNAT)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-23T14:25:12Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Robustness-Congruent Adversarial Training for Secure Machine Learning Model Updates [13.911586916369108]
  機械学習モデルにおける誤分類は、敵の例に対して堅牢性に影響を及ぼす可能性があることを示す。 この問題に対処するために,ロバストネス・コングロレント・逆行訓練という手法を提案する。 我々のアルゴリズムと、より一般的には、非回帰的制約で学習することは、一貫した推定器を訓練するための理論的に基底的なフレームワークを提供することを示す。
  論文  参考訳（メタデータ） (2024-02-27T10:37:13Z)
• Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning [2.9158689853305693]
  本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。 このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。 D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-05T10:18:15Z)
• Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
  我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。 私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
  論文  参考訳（メタデータ） (2024-01-09T04:33:03Z)
• Robust Spatiotemporal Traffic Forecasting with Reinforced Dynamic Adversarial Training [13.998123723601651]
  機械学習に基づく予測モデルは、Intelligent Transportation Systems(ITS)において、トラフィックパターンを予測するために一般的に使用されている。 既存のモデルのほとんどは敵攻撃の影響を受けやすいため、不正確な予測や、混雑や遅延などの負の結果につながる可能性がある。 交通予測タスクに敵対的トレーニングを組み込むための枠組みを提案する。
  論文  参考訳（メタデータ） (2023-06-25T04:53:29Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Improved Adversarial Training via Learned Optimizer [101.38877975769198]
  対戦型トレーニングモデルの堅牢性を改善するための枠組みを提案する。 共学習のパラメータモデルの重み付けにより、提案するフレームワークは、更新方向に対するロバスト性とステップの適応性を一貫して改善する。
  論文  参考訳（メタデータ） (2020-04-25T20:15:53Z)
• Boosting Adversarial Training with Hypersphere Embedding [53.75693100495097]
  敵対的訓練は、ディープラーニングモデルに対する敵対的攻撃に対する最も効果的な防御の1つである。 本研究では,超球埋め込み機構をATプロシージャに組み込むことを提唱する。 我々は,CIFAR-10 と ImageNet データセットに対する幅広い敵対攻撃の下で本手法を検証した。
  論文  参考訳（メタデータ） (2020-02-20T08:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。