論文の概要: Hiding-in-Plain-Sight (HiPS) Attack on CLIP for Targetted Object Removal from Images

• arxiv url: http://arxiv.org/abs/2410.13010v1
• Date: Wed, 16 Oct 2024 20:11:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:23:10.210692
• Title: Hiding-in-Plain-Sight (HiPS) Attack on CLIP for Targetted Object Removal from Images
• Title（参考訳）: 画像からの対象物除去のためのCLIPに対するHiding-in-Plain-Sight(HiPS)攻撃
• Authors: Arka Daw, Megan Hong-Thanh Chung, Maria Mahbub, Amir Sadovnik,
• Abstract要約: Hiding-in-Plain-Sight (HiPS) 攻撃はターゲットオブジェクトを選択的に隠蔽することでモデル予測を微調整する 本稿では,HPS-clsとHiPS-capの2種類のHiPS攻撃モデルを提案し,下流画像キャプションモデルへの転送の有効性を実証した。
• 参考スコア（独自算出の注目度）: 3.537369004801589
• License:
• Abstract: Machine learning models are known to be vulnerable to adversarial attacks, but traditional attacks have mostly focused on single-modalities. With the rise of large multi-modal models (LMMs) like CLIP, which combine vision and language capabilities, new vulnerabilities have emerged. However, prior work in multimodal targeted attacks aim to completely change the model's output to what the adversary wants. In many realistic scenarios, an adversary might seek to make only subtle modifications to the output, so that the changes go unnoticed by downstream models or even by humans. We introduce Hiding-in-Plain-Sight (HiPS) attacks, a novel class of adversarial attacks that subtly modifies model predictions by selectively concealing target object(s), as if the target object was absent from the scene. We propose two HiPS attack variants, HiPS-cls and HiPS-cap, and demonstrate their effectiveness in transferring to downstream image captioning models, such as CLIP-Cap, for targeted object removal from image captions.
• Abstract（参考訳）: 機械学習モデルは敵攻撃に弱いことが知られているが、従来の攻撃は主に単一モダリティに焦点を当てていた。 ビジョンと言語機能を組み合わせたCLIPのような大規模なマルチモーダルモデル(LMM)の台頭により、新たな脆弱性が出現した。 しかし、マルチモーダル攻撃における以前の作業は、モデルの出力を敵が望むものに完全に変更することを目的としていた。 多くの現実的なシナリオでは、敵は出力に微妙な修正を加えるだけで、その変更が下流のモデルや人間によっても気づかないようにする。 Hiding-in-Plain-Sight(ヒディング・イン・プレイン・サイト・アタック、HiPS)は、ターゲットオブジェクト(s)を選択的に隠蔽することで、ターゲットオブジェクトがシーンから欠落しているかのように、モデル予測を微調整する新たな対向攻撃である。 画像キャプションから対象物を取り除くために,HPS-clsとHiPS-capの2種類を提案し,CLIP-Capなどの下流画像キャプションモデルへの転送の有効性を示した。

関連論文リスト

• Adversarial Robustness for Visual Grounding of Multimodal Large Language Models [49.71757071535619]
  MLLM(Multi-modal Large Language Models)は近年,様々な視覚言語タスクのパフォーマンス向上を実現している。 MLLMでは、視覚的グラウンドリングの対角的堅牢性は未発見のままである。 本稿では,次の3つの攻撃パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-05-16T10:54:26Z)
• Vision-LLMs Can Fool Themselves with Self-Generated Typographic Attacks [62.34019142949628]
  誤読テキストを画像に貼り付けるタイポグラフィーアタックは、CLIPのようなビジョンランゲージモデルの性能を損なうことが知られている。 我々は、LVLMが自身に対する攻撃を発生させる2つの新しい、より効果的なTextitSelf-Generated攻撃を導入する。 ベンチマークにより,自己生成攻撃が重大な脅威となり,LVLM(s)分類性能が最大33%低下することが判明した。
  論文  参考訳（メタデータ） (2024-02-01T14:41:20Z)
• A Review of Adversarial Attacks in Computer Vision [16.619382559756087]
  敵対的攻撃は人間の目では見えないが、深層学習の誤分類につながる可能性がある。 敵攻撃は、攻撃者がモデルのパラメータと勾配を知っているホワイトボックス攻撃とブラックボックス攻撃に分けられ、後者は攻撃者がモデルの入力と出力しか取得できない。
  論文  参考訳（メタデータ） (2023-08-15T09:43:10Z)
• Attack-SAM: Towards Attacking Segment Anything Model With Adversarial Examples [68.5719552703438]
  Segment Anything Model (SAM) は、様々なダウンストリームタスクにおける印象的なパフォーマンスのために、最近大きな注目を集めている。 深い視覚モデルは敵の例に弱いと広く認識されており、それはモデルを騙して知覚不能な摂動で間違った予測をする。 この研究は、SAMの攻撃方法に関する総合的な調査を敵対的な例で実施した最初のものである。
  論文  参考訳（メタデータ） (2023-05-01T15:08:17Z)
• Defense-Prefix for Preventing Typographic Attacks on CLIP [14.832208701208414]
  一部の敵対的攻撃は、モデルを偽りまたはばかげた分類に騙す。 我々は,DP トークンをクラス名の前に挿入して,文字攻撃に対して "robust" という単語を"robust" する,シンプルで効果的な方法を紹介した。 本手法は, モデルにおけるゼロショット能力を維持しつつ, タイポグラフィー攻撃データセットの分類タスクの精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-04-10T11:05:20Z)
• Ensemble-based Blackbox Attacks on Dense Prediction [16.267479602370543]
  慎重に設計されたアンサンブルは、多くの犠牲者モデルに対して効果的な攻撃を発生させることができることを示す。 特に,個々のモデルに対する重み付けの正規化が,攻撃の成功に重要な役割を担っていることを示す。 提案手法は同時に複数のブラックボックス検出とセグメンテーションモデルを騙すことができる単一摂動を生成することができる。
  論文  参考訳（メタデータ） (2023-03-25T00:08:03Z)
• Object-fabrication Targeted Attack for Object Detection [54.10697546734503]
  物体検出の敵攻撃は 標的攻撃と未標的攻撃を含む。 新たなオブジェクトファブリケーションターゲット攻撃モードは、特定のターゲットラベルを持つ追加の偽オブジェクトをファブリケートする検出器を誤解させる可能性がある。
  論文  参考訳（メタデータ） (2022-12-13T08:42:39Z)
• GAMA: Generative Adversarial Multi-Object Scene Attacks [48.33120361498787]
  本稿では,多目的シーンに対する敵攻撃に対する生成モデルを用いた最初のアプローチを提案する。 我々はこの攻撃アプローチをGAMA(Generative Adversarial Multi-Object scene Attacks)と呼ぶ。
  論文  参考訳（メタデータ） (2022-09-20T06:40:54Z)
• Adversarial Pixel Restoration as a Pretext Task for Transferable Perturbations [54.1807206010136]
  トランスファー可能な敵攻撃は、事前訓練された代理モデルと既知のラベル空間から敵を最適化し、未知のブラックボックスモデルを騙す。 本稿では,効果的なサロゲートモデルをスクラッチからトレーニングするための自己教師型代替手段として,Adversarial Pixel Restorationを提案する。 我々のトレーニングアプローチは、敵の目標を通したオーバーフィッティングを減らすmin-maxの目標に基づいています。
  論文  参考訳（メタデータ） (2022-07-18T17:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。