論文の概要: Context is the Key: Backdoor Attacks for In-Context Learning with Vision Transformers

• arxiv url: http://arxiv.org/abs/2409.04142v1
• Date: Fri, 6 Sep 2024 09:16:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 16:16:11.507836
• Title: Context is the Key: Backdoor Attacks for In-Context Learning with Vision Transformers
• Title（参考訳）: コンテキストが鍵:ビジョントランスフォーマーを用いたコンテキスト内学習のためのバックドアアタック
• Authors: Gorka Abad, Stjepan Picek, Lorenzo Cavallaro, Aitor Urbieta,
• Abstract要約: コンテキスト内学習は、モデルがどのように誘導されるかによって動的振る舞いを持つバックドアアタックなど、新たなアタックを可能にする。 本稿では、視覚変換器(ViT)の能力を活用し、プロンプトに応じて異なるタスクを実行する。 テスト対象のモデルに対して最大89.90%の劣化を達成して,すべてのテストモデルに対する攻撃に成功しました。
• 参考スコア（独自算出の注目度）: 16.636020842697672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the high cost of training, large model (LM) practitioners commonly use pretrained models downloaded from untrusted sources, which could lead to owning compromised models. In-context learning is the ability of LMs to perform multiple tasks depending on the prompt or context. This can enable new attacks, such as backdoor attacks with dynamic behavior depending on how models are prompted. In this paper, we leverage the ability of vision transformers (ViTs) to perform different tasks depending on the prompts. Then, through data poisoning, we investigate two new threats: i) task-specific backdoors where the attacker chooses a target task to attack, and only the selected task is compromised at test time under the presence of the trigger. At the same time, any other task is not affected, even if prompted with the trigger. We succeeded in attacking every tested model, achieving up to 89.90\% degradation on the target task. ii) We generalize the attack, allowing the backdoor to affect \emph{any} task, even tasks unseen during the training phase. Our attack was successful on every tested model, achieving a maximum of $13\times$ degradation. Finally, we investigate the robustness of prompts and fine-tuning as techniques for removing the backdoors from the model. We found that these methods fall short and, in the best case, reduce the degradation from 89.90\% to 73.46\%.
• Abstract（参考訳）: 訓練のコストが高いため、大規模モデル(LM)の実践者は信頼できないソースからダウンロードされた事前訓練されたモデルを使うことが多い。 インコンテキスト学習(In-context learning)とは、LMがプロンプトやコンテキストに応じて複数のタスクを実行する能力である。 これにより、モデルがどのようにトリガーされるかによって、動的振る舞いを持つバックドアアタックなど、新たなアタックが可能になる。 本稿では、視覚変換器(ViT)の能力を活用し、プロンプトに応じて異なるタスクを実行する。 そして、データ中毒によって、新たな2つの脅威を調査する。 一 攻撃者が攻撃対象のタスクを選択し、選択したタスクのみをトリガーの有無でテスト時に侵害するタスク固有のバックドア。 同時に、トリガーでトリガーをトリガーしても、他のタスクは影響を受けない。 テスト対象のモデルに対して,最大89.90\%の劣化を達成して,すべてのテストモデルを攻撃することに成功しました。 二 攻撃を一般化し、訓練期間中に見つからないタスクであっても、バックドアが \emph{any} タスクに影響を及ぼすようにする。 当社の攻撃はすべてのテストモデルで成功し、最大で13\times$gradingを実現しました。 最後に,モデルからバックドアを除去する手法として,プロンプトと微調整の堅牢性について検討する。 その結果, これらの手法は短絡し, 劣化率89.90\%から73.46\%に低下することが判明した。

関連論文リスト

• Transferring Backdoors between Large Language Models by Knowledge Distillation [2.9138150728729064]
  バックドア攻撃は大規模言語モデル(LLM)に対する深刻な脆弱性である。 従来の手法では、特定のモデルでのみそのようなリスクを明らかにしたり、事前訓練されたフェーズを攻撃した後のタスク転送可能性を示す。 本研究では,教師LLMのバックドアを小型モデルに効果的に蒸留できる適応的トランスファー可能なバックドアアタックであるATBAを提案する。
  論文  参考訳（メタデータ） (2024-08-19T10:39:45Z)
• Revisiting Backdoor Attacks against Large Vision-Language Models [76.42014292255944]
  本稿では,LVLMの命令チューニングにおけるバックドア攻撃の一般化可能性について実験的に検討する。 以上に基づいて,既存のバックドア攻撃を修正した。 本稿では,従来のシンプルなバックドア戦略でさえ,LVLMに深刻な脅威をもたらすことを指摘する。
  論文  参考訳（メタデータ） (2024-06-27T02:31:03Z)
• Not All Prompts Are Secure: A Switchable Backdoor Attack Against Pre-trained Vision Transformers [51.0477382050976]
  この作業でスイッチトークンと呼ばれる追加のプロンプトトークンは、バックドアモードをオンにすることができ、良心的なモデルをバックドアモードに変換することができる。 事前訓練されたモデルを攻撃するため、SWARMと呼ばれる攻撃はトリガを学習し、スイッチトークンを含むトークンをプロンプトする。 多様な視覚認識タスクの実験は、切り替え可能なバックドア攻撃の成功を確認し、95%以上の攻撃成功率を達成した。
  論文  参考訳（メタデータ） (2024-05-17T08:19:48Z)
• Does Few-shot Learning Suffer from Backdoor Attacks? [63.9864247424967]
  数発の学習がバックドアアタックに対して脆弱であることは明らかです。 本手法は,FSLタスクにおける攻撃成功率(ASR)を,異なる数発の学習パラダイムで示す。 この研究は、数発の学習がまだバックドア攻撃に悩まされており、そのセキュリティに注意を払う必要があることを明らかにしている。
  論文  参考訳（メタデータ） (2023-12-31T06:43:36Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• NOTABLE: Transferable Backdoor Attacks Against Prompt-based NLP Models [17.52386568785587]
  プロンプトベースの学習は、バックドア攻撃に弱い。 我々はNOTABLEと呼ばれるプロンプトベースモデルに対するトランスファー可能なバックドア攻撃を提案する。 Notableは、特定の単語にトリガーをバインドするアダプタを利用して、PLMのエンコーダにバックドアを注入する。
  論文  参考訳（メタデータ） (2023-05-28T23:35:17Z)
• Backdoor Learning on Sequence to Sequence Models [94.23904400441957]
  本稿では,シークエンス・ツー・シークエンス(seq2seq)モデルがバックドア攻撃に対して脆弱かどうかを検討する。 具体的には、データセットの0.2%のサンプルを注入するだけで、Seq2seqモデルに指定されたキーワードと文全体を生成することができる。 機械翻訳とテキスト要約に関する大規模な実験を行い、提案手法が複数のデータセットやモデルに対して90%以上の攻撃成功率を達成することを示した。
  論文  参考訳（メタデータ） (2023-05-03T20:31:13Z)
• SoK: A Systematic Evaluation of Backdoor Trigger Characteristics in Image Classification [21.424907311421197]
  ディープラーニングは、トレーニングセットを変更してトレーニングモデルに秘密機能を埋め込むバックドア攻撃に対して脆弱である。 本稿では,バックドア攻撃の最も関連性の高いパラメータを系統的に分析する。 私たちの攻撃は、研究におけるバックドア設定の大部分をカバーし、将来の作業に具体的な方向性を提供します。
  論文  参考訳（メタデータ） (2023-02-03T14:00:05Z)
• Just Rotate it: Deploying Backdoor Attacks via Rotation Transformation [48.238349062995916]
  回転に基づく画像変換により,高い効率のバックドアを容易に挿入できることが判明した。 私たちの研究は、バックドア攻撃のための、新しく、シンプルで、物理的に実現可能で、非常に効果的なベクターに焦点を当てています。
  論文  参考訳（メタデータ） (2022-07-22T00:21:18Z)
• Natural Backdoor Attack on Text Data [15.35163515187413]
  本論文では,NLPモデルに対するテキストバックドア攻撃を提案する。 テキストデータにトリガーを発生させ,修正範囲,人間認識,特殊事例に基づいて,さまざまな種類のトリガーを調査する。 その結果,テキスト分類作業において100%バックドア攻撃の成功率と0.83%の犠牲となる優れた性能を示した。
  論文  参考訳（メタデータ） (2020-06-29T16:40:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。