論文の概要: Stealthy Backdoor Attack in Self-Supervised Learning Vision Encoders for Large Vision Language Models

• arxiv url: http://arxiv.org/abs/2502.18290v1
• Date: Tue, 25 Feb 2025 15:28:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:22:10.407326
• Title: Stealthy Backdoor Attack in Self-Supervised Learning Vision Encoders for Large Vision Language Models
• Title（参考訳）: 大規模視覚言語モデルのための自己監督型学習視覚エンコーダの静的バックドアアタック
• Authors: Zhaoyi Liu, Huan Zhang,
• Abstract要約: 我々は、視覚エンコーダを単に妥協させることで、視覚幻覚を大きな視覚言語モデル(LVLM)に誘導できる新たなバックドア脅威を明らかにした。 これらのエンコーダの共有と再利用のため、下流のLVLMの多くはエンコーダからバックドアの振る舞いを継承し、広くバックドアに繋がる可能性がある。 本稿では,新たなトリガ最適化とバックドア学習技術を備えたLVLM用SSLビジョンエンコーダにおいて,この脆弱性を利用する最初の方法であるBadVisionを提案する。
• 参考スコア（独自算出の注目度）: 11.95173772610013
• License:
• Abstract: Self-supervised learning (SSL) vision encoders learn high-quality image representations and thus have become a vital part of developing vision modality of large vision language models (LVLMs). Due to the high cost of training such encoders, pre-trained encoders are widely shared and deployed into many LVLMs, which are security-critical or bear societal significance. Under this practical scenario, we reveal a new backdoor threat that significant visual hallucinations can be induced into these LVLMs by merely compromising vision encoders. Because of the sharing and reuse of these encoders, many downstream LVLMs may inherit backdoor behaviors from encoders, leading to widespread backdoors. In this work, we propose BadVision, the first method to exploit this vulnerability in SSL vision encoders for LVLMs with novel trigger optimization and backdoor learning techniques. We evaluate BadVision on two types of SSL encoders and LVLMs across eight benchmarks. We show that BadVision effectively drives the LVLMs to attacker-chosen hallucination with over 99% attack success rate, causing a 77.6% relative visual understanding error while maintaining the stealthiness. SoTA backdoor detection methods cannot detect our attack effectively.
• Abstract（参考訳）: 自己教師付き学習(SSL)視覚エンコーダは高品質な画像表現を学習し、大型視覚言語モデル(LVLM)の視覚モダリティの発達に欠かせない役割を担っている。 このようなエンコーダの訓練コストが高いため、事前訓練されたエンコーダは広く共有され、多くのLVLMにデプロイされる。 この現実的なシナリオでは、視覚エンコーダを単に妥協させることで、視覚幻覚をこれらのLVLMに誘導できる新たなバックドアの脅威を明らかにする。 これらのエンコーダの共有と再利用のため、下流のLVLMの多くはエンコーダからバックドアの振る舞いを継承し、広くバックドアに繋がる可能性がある。 本研究では,新しいトリガ最適化とバックドア学習技術を備えたLVLM用SSLビジョンエンコーダにおいて,この脆弱性を利用する最初の方法であるBadVisionを提案する。 我々は、8つのベンチマークでSSLエンコーダとLVLMの2種類のBadVisionを評価した。 我々は,BadVisionがLVLMを99%以上の攻撃成功率で攻撃チョーゼン幻覚に効果的に駆動し,ステルス性を維持しながら77.6%の相対的な視覚的理解誤差を生じさせることを示した。 SoTAバックドア検出法は攻撃を効果的に検出できない。

関連論文リスト

• EVEv2: Improved Baselines for Encoder-Free Vision-Language Models [72.07868838411474]
  既存のエンコーダフリービジョン言語モデル(VLM)は、エンコーダベースモデルと性能ギャップを狭めている。 我々は,主流のエンコーダをベースとしたVLMと競合するエンコーダフリーVLMの効率的な戦略を開発する。 統一モデルにおいて、視覚と言語を適切に階層的に関連付けることで、モダリティ間の干渉を減少させることを示す。
  論文  参考訳（メタデータ） (2025-02-10T18:59:58Z)
• Break the Visual Perception: Adversarial Attacks Targeting Encoded Visual Tokens of Large Vision-Language Models [15.029014337718849]
  大きな視覚言語モデル(LVLM)は、視覚情報を大きな言語モデルに統合し、目覚ましい多モーダルな会話能力を示す。 一般に、LVLMは視覚エンコーダに頼って画像を視覚トークンに変換するが、これは言語モデルが画像の内容を効果的に知覚するのに不可欠である。 本稿では,VT-Attackと呼ばれる非標的攻撃手法を提案する。
  論文  参考訳（メタデータ） (2024-10-09T09:06:56Z)
• DAMRO: Dive into the Attention Mechanism of LVLM to Reduce Object Hallucination [11.845711223575462]
  画像トークン上でのLLM(Large Language Model)デコーダの注意分布は,視覚的エンコーダと非常に一致していることがわかった。 我々は,D$ive を$A$ttention $M$echanism of LVLM に変換する新しいトレーニングフリー戦略 DAMRO を提案する。
  論文  参考訳（メタデータ） (2024-10-06T15:12:09Z)
• Unveiling Encoder-Free Vision-Language Models [62.52803514667452]
  既存の視覚言語モデル (VLM) は主に視覚的特徴を抽出するために視覚エンコーダに依存しており、視覚言語タスクには大きな言語モデル (LLM) が続く。 エンコーダベースモデルとエンコーダフリーモデルとのギャップを橋渡しし、純粋なVLMに対するシンプルで効果的なトレーニングレシピを示す。 EVEはエンコーダなしの視覚言語モデルで、効率的にトレーニングと転送ができる。
  論文  参考訳（メタデータ） (2024-06-17T17:59:44Z)
• Safety Alignment for Vision Language Models [21.441662865727448]
  安全モジュールの追加により視覚言語モデル(VLM)の視覚的モダリティ安全アライメントを強化する。 提案手法は使いやすさ,高い柔軟性,強力な制御性を備え,モデル全体の性能に最小限の影響を与えながら安全性を向上させる。
  論文  参考訳（メタデータ） (2024-05-22T12:21:27Z)
• Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models [42.379680603462155]
  頑健なCLIPビジョンエンコーダを実現するために,教師なし逆向き微調整方式を提案する。 悪質な第三者によるLVLMのユーザに対する盗聴攻撃は、CLIPモデルを堅牢なものに置き換えれば、もはや不可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-19T18:09:48Z)
• Machine Vision Therapy: Multimodal Large Language Models Can Enhance Visual Robustness via Denoising In-Context Learning [67.0609518552321]
  本稿では,視覚モデルからノイズ予測を補正するマシンビジョンセラピーを提案する。 復調ラベルを微調整することにより、教師なしの方法で学習モデルの性能を高めることができる。
  論文  参考訳（メタデータ） (2023-12-05T07:29:14Z)
• How Many Unicorns Are in This Image? A Safety Evaluation Benchmark for Vision LLMs [55.91371032213854]
  本研究は視覚的推論におけるビジョンLLM(VLLM)の可能性に焦点を当てる。 本稿では、アウト・オブ・ディストリビューション(OOD)の一般化と敵の堅牢性の両方をカバーする包括的安全性評価スイートを紹介する。
  論文  参考訳（メタデータ） (2023-11-27T18:59:42Z)
• GhostEncoder: Stealthy Backdoor Attacks with Dynamic Triggers to Pre-trained Encoders in Self-supervised Learning [15.314217530697928]
  自己教師付き学習 (SSL) は、大量の未ラベル画像を利用した事前訓練された画像エンコーダの訓練に関係している。 GhostEncoderはSSLに対する最初のダイナミックなバックドア攻撃である。
  論文  参考訳（メタデータ） (2023-10-01T09:39:27Z)
• Visual Adversarial Examples Jailbreak Aligned Large Language Models [66.53468356460365]
  視覚入力の連続的かつ高次元的な性質は、敵対的攻撃に対する弱いリンクであることを示す。 我々は、視力統合されたLLMの安全ガードレールを回避するために、視覚的敵の例を利用する。 本研究は,マルチモダリティの追求に伴う敵のエスカレーションリスクを浮き彫りにする。
  論文  参考訳（メタデータ） (2023-06-22T22:13:03Z)
• A Survey on Masked Autoencoder for Self-supervised Learning in Vision and Beyond [64.85076239939336]
  視覚における自己教師付き学習(SSL)は、NLPと同様の軌道をとる可能性がある。 マスク付き予測(例えばBERT)による生成前文タスクは、NLPにおけるデファクトスタンダードSSLプラクティスとなっている。 マスク画像モデリングの成功により、マスキングオートエンコーダが復活した。
  論文  参考訳（メタデータ） (2022-07-30T09:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。