Fugu-MT 論文翻訳(概要): Using Interleaved Ensemble Unlearning to Keep Backdoors at Bay for Finetuning Vision Transformers

論文の概要: Using Interleaved Ensemble Unlearning to Keep Backdoors at Bay for Finetuning Vision Transformers

arxiv url: http://arxiv.org/abs/2410.01128v1
Date: Tue, 1 Oct 2024 23:33:59 GMT
ステータス: 処理完了
システム内更新日: 2024-11-04 23:10:15.029432
Title: Using Interleaved Ensemble Unlearning to Keep Backdoors at Bay for Finetuning Vision Transformers
Title（参考訳）: インターリーブ・アンサンブル・アンサンブル(Interleaved Ensemble Unlearning)による視覚変換器のバックドアの維持
Authors: Zeyu Michael Li,
Abstract要約: ビジョントランスフォーマー(ViT)はコンピュータビジョンタスクで人気を博している。推論中のモデルで望ましくない振る舞いを引き起こすバックドア攻撃は、ViTのパフォーマンスを脅かす。バックドアデータセット上でクリーンなViTを微調整するInterleaved Ensemble Unlearning(IEU)を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Vision Transformers (ViTs) have become popular in computer vision tasks. Backdoor attacks, which trigger undesirable behaviours in models during inference, threaten ViTs' performance, particularly in security-sensitive tasks. Although backdoor defences have been developed for Convolutional Neural Networks (CNNs), they are less effective for ViTs, and defences tailored to ViTs are scarce. To address this, we present Interleaved Ensemble Unlearning (IEU), a method for finetuning clean ViTs on backdoored datasets. In stage 1, a shallow ViT is finetuned to have high confidence on backdoored data and low confidence on clean data. In stage 2, the shallow ViT acts as a ``gate'' to block potentially poisoned data from the defended ViT. This data is added to an unlearn set and asynchronously unlearned via gradient ascent. We demonstrate IEU's effectiveness on three datasets against 11 state-of-the-art backdoor attacks and show its versatility by applying it to different model architectures.
Abstract（参考訳）: ビジョントランスフォーマー(ViT)はコンピュータビジョンタスクで人気がある。推論中のモデルで好ましくない振る舞いを引き起こすバックドア攻撃は、特にセキュリティに敏感なタスクにおいて、ViTのパフォーマンスを脅かす。畳み込みニューラルネットワーク(CNN)ではバックドアディフェンスが開発されているが、ViTでは効果が低く、ViTに適合するディフェンスは少ない。この問題を解決するために、バックドアデータセット上でクリーンなViTを微調整するInterleaved Ensemble Unlearning (IEU)を提案する。ステージ1では、浅いViTが微調整され、バックドアデータの信頼性が高く、クリーンデータの信頼性が低い。ステージ2では、浅い ViT が ``gate'' として機能し、防御された ViT から潜在的に有毒なデータをブロックする。このデータは未学習のセットに追加され、勾配上昇によって非同期に未学習となる。我々は、11の最先端バックドア攻撃に対する3つのデータセットに対するIEUの有効性を実証し、異なるモデルアーキテクチャに適用することで、その汎用性を示す。

関連論文リスト

Backdoor Attack Against Vision Transformers via Attention Gradient-Based Image Erosion [4.036142985883415]
ビジョントランスフォーマー(ViT)は、様々なコンピュータビジョンタスクで従来の畳み込みニューラルネットワーク(CNN)を上回っている。 ViTはバックドア攻撃に対して脆弱で、敵がバックドアを被害者のモデルに埋め込む。 Intention Gradient-based Erosion Backdoor (AGEB) を提案する。
論文参考訳（メタデータ） (2024-10-30T04:06:12Z)
TrojViT: Trojan Insertion in Vision Transformers [16.86004410531673]
視覚変換器(ViT)は、様々な視覚関連タスクにおける最先端の性能を実証している。本稿では,ステルスで実用的なViT固有のバックドアアタックであるTrojViT$を提案する。我々は、TrojViTがターゲットクラスに99.64%のテストイメージを分類できることを示す。
論文参考訳（メタデータ） (2022-08-27T16:19:26Z)
Defending Backdoor Attacks on Vision Transformer via Patch Processing [18.50522247164383]
ViT(Vision Transformers)は、畳み込みニューラルネットワークよりもはるかに少ない帰納バイアスを持つ、根本的に異なるアーキテクチャである。本稿では,バックドア攻撃(バックドア攻撃)の代表的因果攻撃について検討する。本稿では,パッチベースとブレンディングベースの両方で,パッチ処理によるバックドア攻撃を効果的に防御する手法を提案する。
論文参考訳（メタデータ） (2022-06-24T17:29:47Z)
Backdoor Attacks on Vision Transformers [20.561738561479203]
ビジュアルトランスフォーマー(ViT)はバックドア攻撃に対して脆弱であることを示す。本稿では,ViTの攻撃成功率を大きなマージンで低減するテストタイム・イメージ・ブロッキング・ディフェンスを提案する。
論文参考訳（メタデータ） (2022-06-16T22:55:32Z)
Auto-scaling Vision Transformers without Training [84.34662535276898]
本研究では,視覚変換器(ViT)の自動スケーリングフレームワークAs-ViTを提案する。 As-ViTは、ViTを効率的かつ原則的に自動的に発見し、スケールアップする。 As-ViTは統合されたフレームワークとして、分類と検出において高いパフォーマンスを達成する。
論文参考訳（メタデータ） (2022-02-24T06:30:55Z)
Few-Shot Backdoor Attacks on Visual Object Tracking [80.13936562708426]
視覚オブジェクト追跡(VOT)は、自律運転やインテリジェント監視システムなど、ミッションクリティカルなアプリケーションで広く採用されている。学習過程の調整により,隠れたバックドアをVOTモデルに容易に埋め込むことができることを示す。我々の攻撃は潜在的な防御に耐性があることを示し、潜在的なバックドア攻撃に対するVOTモデルの脆弱性を強調します。
論文参考訳（メタデータ） (2022-01-31T12:38:58Z)
Self-slimmed Vision Transformer [52.67243496139175]
視覚変換器(ViT)は、様々な視覚タスクにおいて一般的な構造となり、CNN(Creative Convolutional Neural Network)よりも優れています。本稿では,バニラVT,すなわちSiTに対する汎用的な自己スリム学習手法を提案する。具体的には、まず、ViTの推論効率を向上させる新しいToken Slimming Module (TSM) を設計する。
論文参考訳（メタデータ） (2021-11-24T16:48:57Z)
On Improving Adversarial Transferability of Vision Transformers [97.17154635766578]
視覚変換器(ViT)は、入力画像を、自己注意によるパッチのシーケンスとして処理する。本稿では,ViTモデルの対角的特徴空間とその伝達性について検討する。本稿では,ViTモデルのアーキテクチャに特有な2つの新しい戦略を紹介する。
論文参考訳（メタデータ） (2021-06-08T08:20:38Z)
Reveal of Vision Transformers Robustness against Adversarial Attacks [13.985121520800215]
この研究は、CNNと比較して異なる$L_p$ベースの敵攻撃に対するViT変異の堅牢性について研究する。我々は,バニラ ViT やハイブリッド-ViT が CNN よりも堅牢であることを明らかにする分析を行った。
論文参考訳（メタデータ） (2021-06-07T15:59:49Z)
On the Adversarial Robustness of Visual Transformers [129.29523847765952]
本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
論文参考訳（メタデータ） (2021-03-29T14:48:24Z)
DeepViT: Towards Deeper Vision Transformer [92.04063170357426]
近年,視覚変換器 (ViT) が画像分類タスクに応用されている。より畳み込み層を積み重ねることで改善できる畳み込みニューラルネットワーク(CNN)とは異なり、ViTの性能はより深いスケールで飽和する。本研究では,アテンションマップの多様性を高めるために,アテンションマップを再生成する手法であるre-attentionを提案する。
論文参考訳（メタデータ） (2021-03-22T14:32:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。