論文の概要: Object-oriented backdoor attack against image captioning

• arxiv url: http://arxiv.org/abs/2401.02600v1
• Date: Fri, 5 Jan 2024 01:52:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 16:21:40.078465
• Title: Object-oriented backdoor attack against image captioning
• Title（参考訳）: 画像キャプションに対するオブジェクト指向バックドア攻撃
• Authors: Meiling Li, Nan Zhong, Xinpeng Zhang, Zhenxing Qian, Sheng Li
• Abstract要約: 画像分類タスクに対するバックドア攻撃は広く研究され、成功したことが証明されている。 本稿では,トレーニングデータから画像キャプションモデルへのバックドア攻撃について検討する。 本手法は,画像キャプティングモデルのバックドア攻撃に対する弱点を証明し,画像キャプティング分野におけるバックドア攻撃に対する防御意識を高めることを期待する。
• 参考スコア（独自算出の注目度）: 40.5688859498834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backdoor attack against image classification task has been widely studied and proven to be successful, while there exist little research on the backdoor attack against vision-language models. In this paper, we explore backdoor attack towards image captioning models by poisoning training data. Assuming the attacker has total access to the training dataset, and cannot intervene in model construction or training process. Specifically, a portion of benign training samples is randomly selected to be poisoned. Afterwards, considering that the captions are usually unfolded around objects in an image, we design an object-oriented method to craft poisons, which aims to modify pixel values by a slight range with the modification number proportional to the scale of the current detected object region. After training with the poisoned data, the attacked model behaves normally on benign images, but for poisoned images, the model will generate some sentences irrelevant to the given image. The attack controls the model behavior on specific test images without sacrificing the generation performance on benign test images. Our method proves the weakness of image captioning models to backdoor attack and we hope this work can raise the awareness of defending against backdoor attack in the image captioning field.
• Abstract（参考訳）: 画像分類タスクに対するバックドア攻撃は広く研究され、成功したことが証明されているが、視覚言語モデルに対するバックドア攻撃に関する研究はほとんどない。 本稿では,画像キャプションモデルに対する裏口攻撃を,トレーニングデータから検討する。 攻撃者がトレーニングデータセットへの完全なアクセスを持ち、モデル構築やトレーニングプロセスに介入できないと仮定する。 具体的には、良性トレーニングサンプルの一部を無作為に選択して有毒とする。 その後、画像内のオブジェクトの周りにキャプションが展開されていることを考慮し、現在の検出対象領域のスケールに比例する修正数で画素値を変更することを目的とした、毒を造るオブジェクト指向の手法をデザインする。 有毒データを訓練した後、攻撃されたモデルは正常に良性画像上で振る舞うが、有毒画像の場合、モデルは与えられた画像と無関係ないくつかの文を生成する。 攻撃は、良質なテスト画像の生成性能を犠牲にすることなく、特定のテスト画像のモデル動作を制御する。 本手法は,バックドア攻撃に対する画像キャプションモデルの弱点を証明し,画像キャプション分野におけるバックドア攻撃に対する防御意識を高めることを期待する。

関連論文リスト

• Stealthy Targeted Backdoor Attacks against Image Captioning [16.409633596670368]
  本稿では,画像キャプションモデルに対するバックドア攻撃を標的とした新たな手法を提案する。 本手法は,物体検出に普遍摂動技術を活用することで,まず特別なトリガを学習する。 我々のアプローチは、モデルクリーンパフォーマンスに無視できる影響を与えながら、高い攻撃成功率を達成することができる。
  論文  参考訳（メタデータ） (2024-06-09T18:11:06Z)
• Clean-image Backdoor Attacks [34.051173092777844]
  本稿では,バックドアが不正確なラベルで注入可能であることを明らかにするクリーンイメージバックドア攻撃を提案する。 私たちの攻撃では、攻撃者はまず、トレーニングイメージを2つの部分に分割するトリガー機能を探します。 バックドアは、毒データで訓練された後、最終的にターゲットモデルに埋め込まれる。
  論文  参考訳（メタデータ） (2024-03-22T07:47:13Z)
• Mask and Restore: Blind Backdoor Defense at Test Time with Masked Autoencoder [57.739693628523]
  Masked AutoEncoder (BDMAE) を用いたブラインドバックドア防御のためのフレームワークを提案する。 BDMAEは、画像構造的類似性とテスト画像とMAE復元の間のラベル整合性を用いて、トークン空間で可能なトリガを検出する。 私たちのアプローチは、モデル復元、パターンのトリガー、画像の良心に盲目です。
  論文  参考訳（メタデータ） (2023-03-27T19:23:33Z)
• Untargeted Backdoor Attack against Object Detection [69.63097724439886]
  我々は,タスク特性に基づいて,無目標で毒のみのバックドア攻撃を設計する。 攻撃によって、バックドアがターゲットモデルに埋め込まれると、トリガーパターンでスタンプされたオブジェクトの検出を失う可能性があることを示す。
  論文  参考訳（メタデータ） (2022-11-02T17:05:45Z)
• Just Rotate it: Deploying Backdoor Attacks via Rotation Transformation [48.238349062995916]
  回転に基づく画像変換により,高い効率のバックドアを容易に挿入できることが判明した。 私たちの研究は、バックドア攻撃のための、新しく、シンプルで、物理的に実現可能で、非常に効果的なベクターに焦点を当てています。
  論文  参考訳（メタデータ） (2022-07-22T00:21:18Z)
• Backdoor Attacks on Self-Supervised Learning [22.24046752858929]
  自己教師型学習手法は,バックドア攻撃に対して脆弱であることを示す。 攻撃者は、画像に小さなトリガー(攻撃者として知られる)を追加することで、ラベルのないデータの一部を毒する。 本稿では,攻撃を中和する知識蒸留に基づく防衛アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-21T04:22:05Z)
• Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
  Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。 我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。 実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
  論文  参考訳（メタデータ） (2021-03-06T05:50:29Z)
• Reverse Engineering Imperceptible Backdoor Attacks on Deep Neural Networks for Detection and Training Set Cleansing [22.22337220509128]
  バックドアデータ中毒は、ディープニューラルネットワークイメージ分類器に対する敵攻撃の新たな形態である。 本稿では,非受容的なバックドアパターンを用いたバックドア攻撃の防御において,ブレークスルーを行う。 1)トレーニングセットが毒であるかどうかを検知し,2)ターゲットクラスとトレーニングイメージをバックドアパターンを埋め込んだ状態で識別し,3)攻撃者が使用するバックドアパターンの推定をリバースエンジニアリングする。
  論文  参考訳（メタデータ） (2020-10-15T03:12:24Z)
• Clean-Label Backdoor Attacks on Video Recognition Models [87.46539956587908]
  画像バックドア攻撃は、ビデオでははるかに効果が低いことを示す。 本稿では,映像認識モデルに対するバックドアトリガとして,ユニバーサル・ディバイサル・トリガーを提案する。 提案したバックドア攻撃は,最先端のバックドア防御・検出手法に耐性がある。
  論文  参考訳（メタデータ） (2020-03-06T04:51:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。