論文の概要: Language-Driven Anchors for Zero-Shot Adversarial Robustness
- arxiv url: http://arxiv.org/abs/2301.13096v3
- Date: Sun, 10 Mar 2024 08:01:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 17:47:12.900430
- Title: Language-Driven Anchors for Zero-Shot Adversarial Robustness
- Title(参考訳): ゼロショット逆ロバストネスのための言語駆動型アンカー
- Authors: Xiao Li and Wei Zhang and Yining Liu and Zhanhao Hu and Bo Zhang and
Xiaolin Hu
- Abstract要約: 本稿では,言語駆動型アンカー型対外訓練戦略を提案する。
テキストエンコーダのセマンティック一貫性を活用することで、LAATは画像モデルの対角的堅牢性を高めることを目指している。
LAATは、最先端手法よりもゼロショット対逆ロバスト性を著しく向上することを示す。
- 参考スコア(独自算出の注目度): 25.160195547250655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Neural Networks (DNNs) are known to be susceptible to adversarial
attacks. Previous researches mainly focus on improving adversarial robustness
in the fully supervised setting, leaving the challenging domain of zero-shot
adversarial robustness an open question. In this work, we investigate this
domain by leveraging the recent advances in large vision-language models, such
as CLIP, to introduce zero-shot adversarial robustness to DNNs. We propose
LAAT, a Language-driven, Anchor-based Adversarial Training strategy. LAAT
utilizes the features of a text encoder for each category as fixed anchors
(normalized feature embeddings) for each category, which are then employed for
adversarial training. By leveraging the semantic consistency of the text
encoders, LAAT aims to enhance the adversarial robustness of the image model on
novel categories. However, naively using text encoders leads to poor results.
Through analysis, we identified the issue to be the high cosine similarity
between text encoders. We then design an expansion algorithm and an alignment
cross-entropy loss to alleviate the problem. Our experimental results
demonstrated that LAAT significantly improves zero-shot adversarial robustness
over state-of-the-art methods. LAAT has the potential to enhance adversarial
robustness by large-scale multimodal models, especially when labeled data is
unavailable during training.
- Abstract(参考訳): ディープニューラルネットワーク(DNN)は敵の攻撃を受けやすいことが知られている。
従来の研究は主に、完全に教師された設定における敵の堅牢性を改善することに焦点を当てており、ゼロショットの敵の堅牢性の挑戦的な領域はオープンな疑問である。
本稿では,CLIPのような大規模視覚言語モデルにおける最近の進歩を活用して,DNNにゼロショット対逆ロバスト性を導入することにより,この領域を考察する。
我々は,言語駆動でアンカーベースの対向訓練戦略であるlaatを提案する。
LAATは各カテゴリのテキストエンコーダの特徴を各カテゴリの固定アンカー(正規化された特徴埋め込み)として利用し、敵の訓練に使用される。
LAATは,テキストエンコーダのセマンティック一貫性を活用することにより,新たなカテゴリにおける画像モデルの対角的堅牢性を高めることを目的とする。
しかし、テキストエンコーダを間接的に使用すると、結果が悪い。
解析の結果,テキストエンコーダ間のコサイン類似度が高いことが判明した。
次に,問題を軽減するために拡張アルゴリズムとアライメントエントロピー損失を設計する。
実験の結果,LAATは最先端手法に比べてゼロショット対向性を大幅に向上することがわかった。
LAATは、大規模マルチモーダルモデルにより、特にトレーニング中にラベル付きデータが利用できない場合に、敵の堅牢性を高める可能性がある。
関連論文リスト
- A Geometrical Approach to Evaluate the Adversarial Robustness of Deep
Neural Networks [52.09243852066406]
対向収束時間スコア(ACTS)は、対向ロバストネス指標として収束時間を測定する。
我々は,大規模画像Netデータセットに対する異なる敵攻撃に対して,提案したACTSメトリックの有効性と一般化を検証する。
論文 参考訳(メタデータ) (2023-10-10T09:39:38Z) - Adversarial Training Should Be Cast as a Non-Zero-Sum Game [125.91054859947693]
逆行訓練では、予測子は逆行するデータの摂動に対して訓練される。
対人訓練の2つのプレイヤーゼロサムパラダイムは、十分な強靭性を発揮できていない。
逆行訓練アルゴリズムでよく用いられる代理的緩和は、訓練された分類器の堅牢性に関するすべての保証を無効にすることを示す。
論文 参考訳(メタデータ) (2023-06-19T16:00:48Z) - Wasserstein distributional robustness of neural networks [9.79503506460041]
ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている
画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。
本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
論文 参考訳(メタデータ) (2023-06-16T13:41:24Z) - Robust Prototypical Few-Shot Organ Segmentation with Regularized
Neural-ODEs [10.054960979867584]
正規化原始型ニューラル正規微分方程式(R-PNODE)を提案する。
R-PNODEは、表現空間に近づくために同じクラスから機能をサポートし、クエリする。
R-PNODEは,これらの攻撃に対して,敵の強靭性を高めていることを示す。
論文 参考訳(メタデータ) (2022-08-26T03:53:04Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z) - An Orthogonal Classifier for Improving the Adversarial Robustness of
Neural Networks [21.13588742648554]
近年の研究では、分類層に特定の変更を加えることで、ニューラルネットワークの堅牢性を向上させることが示されている。
我々は、成分が同じ大きさの高密度直交重み行列を明示的に構築し、新しいロバストな分類器を生み出す。
我々の方法は、多くの最先端の防衛アプローチに対して効率的で競争力がある。
論文 参考訳(メタデータ) (2021-05-19T13:12:14Z) - Combating Adversaries with Anti-Adversaries [118.70141983415445]
特に、我々の層は、逆の層とは反対の方向に入力摂動を生成します。
我々は,我々の階層と名目および頑健に訓練されたモデルを組み合わせることで,我々のアプローチの有効性を検証する。
我々の対向層は、クリーンな精度でコストを伴わずにモデルロバスト性を著しく向上させる。
論文 参考訳(メタデータ) (2021-03-26T09:36:59Z) - Attribute-Guided Adversarial Training for Robustness to Natural
Perturbations [64.35805267250682]
本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。
我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
論文 参考訳(メタデータ) (2020-12-03T10:17:30Z) - Contextual Fusion For Adversarial Robustness [0.0]
ディープニューラルネットワークは、通常、1つの特定の情報ストリームを処理し、様々な種類の敵の摂動に影響を受けやすいように設計されている。
そこで我々はPlaces-CNNとImagenet-CNNから並列に抽出した背景特徴と前景特徴を組み合わせた融合モデルを開発した。
グラデーションをベースとした攻撃では,フュージョンは乱れのないデータの性能を低下させることなく,分類の大幅な改善を可能にする。
論文 参考訳(メタデータ) (2020-11-18T20:13:23Z) - Improving adversarial robustness of deep neural networks by using
semantic information [17.887586209038968]
対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。
本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。
MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
論文 参考訳(メタデータ) (2020-08-18T10:23:57Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。