Fugu-MT 論文翻訳(概要): Going Further: Flatness at the Rescue of Early Stopping for Adversarial Example Transferability

論文の概要: Going Further: Flatness at the Rescue of Early Stopping for Adversarial Example Transferability

arxiv url: http://arxiv.org/abs/2304.02688v1
Date: Wed, 5 Apr 2023 18:31:25 GMT
ステータス: 処理完了
システム内更新日: 2023-04-07 16:30:41.573561
Title: Going Further: Flatness at the Rescue of Early Stopping for Adversarial Example Transferability
Title（参考訳）: さらに: 敵対的事例移転可能性の早期停止の救済における平坦性
Authors: Martin Gubri, Maxime Cordy and Yves Le Traon
Abstract要約: 非破壊的な特徴を持つデータから学習したモデルであっても、早期停止は転送可能性を向上させる。本稿では,トランスファービリティを最大化するために,トレーニング中の損失シャープネスを最小限に抑える新しいトランスファービリティ手法RFNを提案する。
参考スコア（独自算出の注目度）: 9.749875300458173
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transferability is the property of adversarial examples to be misclassified by other models than the surrogate model for which they were crafted. Previous research has shown that transferability is substantially increased when the training of the surrogate model has been early stopped. A common hypothesis to explain this is that the later training epochs are when models learn the non-robust features that adversarial attacks exploit. Hence, an early stopped model is more robust (hence, a better surrogate) than fully trained models. We demonstrate that the reasons why early stopping improves transferability lie in the side effects it has on the learning dynamics of the model. We first show that early stopping benefits transferability even on models learning from data with non-robust features. We then establish links between transferability and the exploration of the loss landscape in the parameter space, on which early stopping has an inherent effect. More precisely, we observe that transferability peaks when the learning rate decays, which is also the time at which the sharpness of the loss significantly drops. This leads us to propose RFN, a new approach for transferability that minimizes loss sharpness during training in order to maximize transferability. We show that by searching for large flat neighborhoods, RFN always improves over early stopping (by up to 47 points of transferability rate) and is competitive to (if not better than) strong state-of-the-art baselines.
Abstract（参考訳）: 転送可能性(Transferability)は、それらが製作された代理モデルよりも、他のモデルによって誤って分類される敵の例の特性である。従来の研究では、サロゲートモデルのトレーニングが早期に中止された場合、転送性が大幅に向上することが示されている。これを説明する一般的な仮説は、後の訓練のエポックは、モデルが敵攻撃が悪用する非破壊的特徴を学ぶときである。したがって、早期に停止したモデルは、完全に訓練されたモデルよりも堅牢(従って、より良い代理)である。早期停止が転送可能性を向上させる理由は,モデルの学習ダイナミクスに影響を及ぼす副次効果にあることを実証する。まず,ロバストでない特徴を持つデータから学習したモデルにおいても,早期停止が転送可能性を高めることを示す。次に、移動可能性とパラメータ空間における損失景観の探索の関連性を確立し、早期停止は本質的に影響する。より正確には、学習速度が低下すると伝達能力がピークとなり、損失の鋭さが著しく低下する時期でもある。これにより、トランスファービリティを最大化するために、トレーニング中の損失シャープネスを最小限に抑える新しいトランスファービリティーのアプローチであるRFNを提案する。大規模な平坦な地区を探索することで、RFNは常に早期停止(転送可能性の47ポイントまで)よりも改善し、強い最先端のベースラインに競争力があることが示される。

関連論文リスト

LRS: Enhancing Adversarial Transferability through Lipschitz Regularized Surrogate [8.248964912483912]
敵の例の転送性は、転送ベースのブラックボックス敵攻撃において重要である。転送ベースブラックボックス攻撃に対するLipschitz Regularized Surrogate (LRS)を提案する。我々は、最先端のディープニューラルネットワークとディフェンスモデルを攻撃することで、提案したLSSアプローチを評価する。
論文参考訳（メタデータ） (2023-12-20T15:37:50Z)
Why Does Little Robustness Help? Understanding and Improving Adversarial Transferability from Surrogate Training [24.376314203167016]
DNNの逆例(AE)は転送可能であることが示されている。本稿では,敵対的伝達可能性の理解に向けてさらなる一歩を踏み出す。
論文参考訳（メタデータ） (2023-07-15T19:20:49Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Logit Margin Matters: Improving Transferable Targeted Adversarial Attack by Logit Calibration [85.71545080119026]
クロスエントロピー(CE)損失関数は、伝達可能な標的対向例を学習するには不十分である。本稿では,ロジットを温度係数と適応マージンでダウンスケールすることで,ロジットのキャリブレーションを簡易かつ効果的に行う2つの手法を提案する。 ImageNetデータセットを用いて実験を行い,提案手法の有効性を検証した。
論文参考訳（メタデータ） (2023-03-07T06:42:52Z)
Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning [80.21709045433096]
対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
論文参考訳（メタデータ） (2022-11-04T13:54:02Z)
Transfer Attacks Revisited: A Large-Scale Empirical Study in Real Computer Vision Settings [64.37621685052571]
我々は,主要なクラウドベースのMLプラットフォームに対する転送攻撃について,最初の系統的実証的研究を行った。この研究は、既存のものと矛盾しない多くの興味深い発見につながっている。この作業は、一般的なMLプラットフォームの脆弱性に光を当て、いくつかの有望な研究方向を指し示している、と私たちは信じています。
論文参考訳（メタデータ） (2022-04-07T12:16:24Z)
CARTL: Cooperative Adversarially-Robust Transfer Learning [22.943270371841226]
ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
論文参考訳（メタデータ） (2021-06-12T02:29:55Z)
Adversarial Momentum-Contrastive Pre-Training [20.336258934272102]
adversarial self-supervised pre-trainingは、データ拡張とadversarial perturbationの両方の下で不変表現を抽出するのに役立つ。本稿では,新しい対向運動量比較(AMOC)事前学習手法を提案する。既存の自己監督型プリトレーニングアプローチと比較して、AMOCはより小さなバッチサイズとより少ないトレーニングエポックを使用できますが、より堅牢な機能を学びます。
論文参考訳（メタデータ） (2020-12-24T07:49:10Z)
Efficient and Transferable Adversarial Examples from Bayesian Neural Networks [18.69033059038773]
本稿では,ニューラルネットワーク重みの後方分布から近似的にサンプリングすることで,サロゲートを効率的に構築する手法を提案する。 ImageNetでは、トレーニング計算を11.6から2.4に削減しながら、成功率の94%に達することができる。我々の研究は、サロゲートの訓練方法が見過ごされていることを示しているが、これは転送ベースの攻撃の重要な要素である。
論文参考訳（メタデータ） (2020-11-10T12:46:52Z)
Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文参考訳（メタデータ） (2020-10-26T04:44:43Z)
Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。