Fugu-MT 論文翻訳(概要): Going Further: Flatness at the Rescue of Early Stopping for Adversarial Example Transferability

論文の概要: Going Further: Flatness at the Rescue of Early Stopping for Adversarial Example Transferability

arxiv url: http://arxiv.org/abs/2304.02688v2
Date: Tue, 20 Feb 2024 16:29:34 GMT
ステータス: 処理完了
システム内更新日: 2024-02-21 21:44:23.529892
Title: Going Further: Flatness at the Rescue of Early Stopping for Adversarial Example Transferability
Title（参考訳）: さらに: 敵対的事例移転可能性の早期停止の救済における平坦性
Authors: Martin Gubri, Maxime Cordy and Yves Le Traon
Abstract要約: 私たちは表現類似性のプロキシとして転送可能性を使用します。損失値と損失シャープネスの両方を最小化する7つの最小化器を用いて訓練したサロゲートモデルを評価する。
参考スコア（独自算出の注目度）: 19.376530721115202
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transferability is the property of adversarial examples to be misclassified by other models than the surrogate model for which they were crafted. Previous research has shown that early stopping the training of the surrogate model substantially increases transferability. A common hypothesis to explain this is that deep neural networks (DNNs) first learn robust features, which are more generic, thus a better surrogate. Then, at later epochs, DNNs learn non-robust features, which are more brittle, hence worst surrogate. First, we tend to refute this hypothesis, using transferability as a proxy for representation similarity. We then establish links between transferability and the exploration of the loss landscape in parameter space, focusing on sharpness, which is affected by early stopping. This leads us to evaluate surrogate models trained with seven minimizers that minimize both loss value and loss sharpness. Among them, SAM consistently outperforms early stopping by up to 28.8 percentage points. We discover that the strong SAM regularization from large flat neighborhoods tightly links to transferability. Finally, the best sharpness-aware minimizers prove competitive with other training methods and complement existing transferability techniques.
Abstract（参考訳）: 転送可能性(Transferability)は、それらが製作された代理モデルよりも、他のモデルによって誤って分類される敵の例の特性である。従来の研究では、サロゲートモデルの早期停止は転送可能性を大幅に向上させることが示されている。これを説明する一般的な仮説は、ディープニューラルネットワーク(dnn)は、より汎用的なロバストな特徴を最初に学習するので、より優れたサロゲートである。その後のエポックでは、DNNは非破壊的な特徴を学習するが、それはより脆く、したがって最悪のサロゲートである。まず、表現類似性のプロキシとして転送可能性を用いることで、この仮説を否定する傾向がある。次に, 移動可能性とパラメータ空間における損失景観の探索との関係を, 早期停止の影響を受ける鋭さに焦点をあてた。これにより、損失値と損失シャープネスの両方を最小化する7つの最小化器で訓練された代理モデルを評価することができる。その内、SAMは28.8ポイントまで早期に停止している。我々は、大きな平坦な地区から強いSAM正則化が伝達可能性に強く結びついていることを発見した。最後に、最高のシャープネスを認識できる最小化器は、他のトレーニング方法と競合し、既存の転送可能性技術を補完する。

関連論文リスト

LRS: Enhancing Adversarial Transferability through Lipschitz Regularized Surrogate [8.248964912483912]
敵の例の転送性は、転送ベースのブラックボックス敵攻撃において重要である。転送ベースブラックボックス攻撃に対するLipschitz Regularized Surrogate (LRS)を提案する。我々は、最先端のディープニューラルネットワークとディフェンスモデルを攻撃することで、提案したLSSアプローチを評価する。
論文参考訳（メタデータ） (2023-12-20T15:37:50Z)
Why Does Little Robustness Help? Understanding and Improving Adversarial Transferability from Surrogate Training [24.376314203167016]
DNNの逆例(AE)は転送可能であることが示されている。本稿では,敵対的伝達可能性の理解に向けてさらなる一歩を踏み出す。
論文参考訳（メタデータ） (2023-07-15T19:20:49Z)
TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文参考訳（メタデータ） (2023-03-20T14:12:55Z)
Logit Margin Matters: Improving Transferable Targeted Adversarial Attack by Logit Calibration [85.71545080119026]
クロスエントロピー(CE)損失関数は、伝達可能な標的対向例を学習するには不十分である。本稿では,ロジットを温度係数と適応マージンでダウンスケールすることで,ロジットのキャリブレーションを簡易かつ効果的に行う2つの手法を提案する。 ImageNetデータセットを用いて実験を行い,提案手法の有効性を検証した。
論文参考訳（メタデータ） (2023-03-07T06:42:52Z)
Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning [80.21709045433096]
対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
論文参考訳（メタデータ） (2022-11-04T13:54:02Z)
Transfer Attacks Revisited: A Large-Scale Empirical Study in Real Computer Vision Settings [64.37621685052571]
我々は,主要なクラウドベースのMLプラットフォームに対する転送攻撃について,最初の系統的実証的研究を行った。この研究は、既存のものと矛盾しない多くの興味深い発見につながっている。この作業は、一般的なMLプラットフォームの脆弱性に光を当て、いくつかの有望な研究方向を指し示している、と私たちは信じています。
論文参考訳（メタデータ） (2022-04-07T12:16:24Z)
CARTL: Cooperative Adversarially-Robust Transfer Learning [22.943270371841226]
ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
論文参考訳（メタデータ） (2021-06-12T02:29:55Z)
Adversarial Momentum-Contrastive Pre-Training [20.336258934272102]
adversarial self-supervised pre-trainingは、データ拡張とadversarial perturbationの両方の下で不変表現を抽出するのに役立つ。本稿では,新しい対向運動量比較(AMOC)事前学習手法を提案する。既存の自己監督型プリトレーニングアプローチと比較して、AMOCはより小さなバッチサイズとより少ないトレーニングエポックを使用できますが、より堅牢な機能を学びます。
論文参考訳（メタデータ） (2020-12-24T07:49:10Z)
Efficient and Transferable Adversarial Examples from Bayesian Neural Networks [18.69033059038773]
本稿では,ニューラルネットワーク重みの後方分布から近似的にサンプリングすることで,サロゲートを効率的に構築する手法を提案する。 ImageNetでは、トレーニング計算を11.6から2.4に削減しながら、成功率の94%に達することができる。我々の研究は、サロゲートの訓練方法が見過ごされていることを示しているが、これは転送ベースの攻撃の重要な要素である。
論文参考訳（メタデータ） (2020-11-10T12:46:52Z)
Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文参考訳（メタデータ） (2020-10-26T04:44:43Z)
Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。