論文の概要: TRS: Transferability Reduced Ensemble via Encouraging Gradient Diversity and Model Smoothness

• arxiv url: http://arxiv.org/abs/2104.00671v1
• Date: Thu, 1 Apr 2021 17:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:30:13.735987
• Title: TRS: Transferability Reduced Ensemble via Encouraging Gradient Diversity and Model Smoothness
• Title（参考訳）: TRS: グラディエント多様性とモデル平滑性の向上による伝達可能性の低減
• Authors: Zhuolin Yang, Linyi Li, Xiaojun Xu, Shiliang Zuo, Qian Chen, Benjamin Rubinstein, Ce Zhang, Bo Li
• Abstract要約: 逆転性(Adversarial Transferability)は、逆転性(adversarial)の例の興味深い特性である。 本稿では,モデル間の移動性に関する十分な条件を理論的に解析する。 本稿では,そのロバスト性を改善するために,アンサンブル内の転送性を低減するための実用的なアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 14.342349428248887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial Transferability is an intriguing property of adversarial examples -- a perturbation that is crafted against one model is also effective against another model, which may arise from a different model family or training process. To better protect ML systems against adversarial attacks, several questions are raised: what are the sufficient conditions for adversarial transferability? Is it possible to bound such transferability? Is there a way to reduce the transferability in order to improve the robustness of an ensemble ML model? To answer these questions, we first theoretically analyze sufficient conditions for transferability between models and propose a practical algorithm to reduce transferability within an ensemble to improve its robustness. Our theoretical analysis shows only the orthogonality between gradients of different models is not enough to ensure low adversarial transferability: the model smoothness is also an important factor. In particular, we provide a lower/upper bound of adversarial transferability based on model gradient similarity for low risk classifiers based on gradient orthogonality and model smoothness. We demonstrate that under the condition of gradient orthogonality, smoother classifiers will guarantee lower adversarial transferability. Furthermore, we propose an effective Transferability Reduced Smooth-ensemble(TRS) training strategy to train a robust ensemble with low transferability by enforcing model smoothness and gradient orthogonality between base models. We conduct extensive experiments on TRS by comparing with other state-of-the-art baselines on different datasets, showing that the proposed TRS outperforms all baselines significantly. We believe our analysis on adversarial transferability will inspire future research towards developing robust ML models taking these adversarial transferability properties into account.
• Abstract（参考訳）: 敵の移動可能性(adversarial transferability)は、敵の例の興味深い特性であり、あるモデルに対して作られた摂動は、別のモデルファミリーやトレーニングプロセスから生じる可能性のある他のモデルにも有効である。 mlシステムを敵の攻撃からより良く守るために、いくつかの疑問が提起されている。 そのような転送可能性の制限は可能か? アンサンブルMLモデルの堅牢性を改善するために、転送可能性を低減する方法はあるか? これらの質問に答えるために,まずモデル間の伝達可能性の十分条件を理論的に解析し,そのロバスト性を改善するためにアンサンブル内の伝達可能性を低減するための実用的なアルゴリズムを提案する。 我々の理論解析は、異なるモデルの勾配間の直交性だけが低い対角移動性を保証するには不十分であることを示している。 特に, 勾配直交性とモデル平滑性に基づく低リスク分類器に対して, モデル勾配類似性に基づく逆移動可能性の下/上限を提供する。 勾配直交条件下では、スムーズな分類器は低い対角移動性を保証する。 さらに,モデルスムーズさとベースモデル間の勾配直交性を強制することにより,トランスファービリティの低いロバストアンサンブルをトレーニングするための効果的なトランスファービリティ低減スムーズアンサンブル(TRS)トレーニング戦略を提案する。 提案するtrsは,異なるデータセット上の他の最先端のベースラインと比較することにより,trsの広範な実験を行い,提案手法がすべてのベースラインを大きく上回ることを示した。 我々は、これらの対向トランスファビリティ特性を考慮に入れた堅牢なMLモデル開発に向けた将来の研究に刺激を与えると信じている。

関連論文リスト

• LOTOS: Layer-wise Orthogonalization for Training Robust Ensembles [13.776549741449557]
  リプシッツ連続性が伝達率に及ぼす影響について検討する。 アンサンブルのための新しい訓練パラダイムであるLOTOSを導入し、この悪影響に対処する。
  論文  参考訳（メタデータ） (2024-10-07T15:43:28Z)
• The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
  フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。 提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
  論文  参考訳（メタデータ） (2024-01-25T09:18:51Z)
• LRS: Enhancing Adversarial Transferability through Lipschitz Regularized Surrogate [8.248964912483912]
  敵の例の転送性は、転送ベースのブラックボックス敵攻撃において重要である。 転送ベースブラックボックス攻撃に対するLipschitz Regularized Surrogate (LRS)を提案する。 我々は、最先端のディープニューラルネットワークとディフェンスモデルを攻撃することで、提案したLSSアプローチを評価する。
  論文  参考訳（メタデータ） (2023-12-20T15:37:50Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• Set-level Guidance Attack: Boosting Adversarial Transferability of Vision-Language Pre-training Models [52.530286579915284]
  本稿では,視覚言語事前学習モデルの対角移動可能性について検討する。 伝達性劣化は、部分的にはクロスモーダル相互作用のアンダーユース化によって引き起こされる。 本稿では,高度に伝達可能なSGA(Set-level Guidance Attack)を提案する。
  論文  参考訳（メタデータ） (2023-07-26T09:19:21Z)
• Why Does Little Robustness Help? Understanding and Improving Adversarial Transferability from Surrogate Training [24.376314203167016]
  DNNの逆例(AE)は転送可能であることが示されている。 本稿では,敵対的伝達可能性の理解に向けてさらなる一歩を踏み出す。
  論文  参考訳（メタデータ） (2023-07-15T19:20:49Z)
• CARTL: Cooperative Adversarially-Robust Transfer Learning [22.943270371841226]
  ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。 本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
  論文  参考訳（メタデータ） (2021-06-12T02:29:55Z)
• High-Robustness, Low-Transferability Fingerprinting of Neural Networks [78.2527498858308]
  本稿では,ディープニューラルネットワークを効果的にフィンガープリントするための特性例を提案する。 モデルプルーニングに対するベースモデルへの高いロバスト性、無関係モデルへの低透過性などが特徴である。
  論文  参考訳（メタデータ） (2021-05-14T21:48:23Z)
• Comparing Probability Distributions with Conditional Transport [63.11403041984197]
  新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。 ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。 さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
  論文  参考訳（メタデータ） (2020-12-28T05:14:22Z)
• On the Transferability of VAE Embeddings using Relational Knowledge with Semi-Supervision [67.96748304066827]
  本稿では,異なる記号特性を持つ関係の絡み合いと低複雑性モデリングのバランスをとることができるリレーショナルVAEセミスーパービジョンの新しいモデルを提案する。 帰納的および帰納的移行学習における関係復号器と潜時空間構造の相対的利点を比較した。
  論文  参考訳（メタデータ） (2020-11-13T21:40:32Z)
• Boosting Black-Box Attack with Partially Transferred Conditional Adversarial Distribution [83.02632136860976]
  深層ニューラルネットワーク(DNN)に対するブラックボックス攻撃の研究 我々は, 代理バイアスに対して頑健な, 対向移動可能性の新たなメカニズムを開発する。 ベンチマークデータセットの実験と実世界のAPIに対する攻撃は、提案手法の優れた攻撃性能を示す。
  論文  参考訳（メタデータ） (2020-06-15T16:45:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。