Fugu-MT 論文翻訳(概要): VIP: Visual Information Protection through Adversarial Attacks on Vision-Language Models

論文の概要: VIP: Visual Information Protection through Adversarial Attacks on Vision-Language Models

arxiv url: http://arxiv.org/abs/2507.08982v1
Date: Fri, 11 Jul 2025 19:34:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:22.060203
Title: VIP: Visual Information Protection through Adversarial Attacks on Vision-Language Models
Title（参考訳）: VIP:視覚言語モデルに対する敵対的攻撃による視覚情報保護
Authors: Hanene F. Z. Brachemi Meftah, Wassim Hamidouche, Sid Ahmed Fezza, Olivier Déforges,
Abstract要約: 我々は,視覚言語モデルにおけるプライバシの保存を敵攻撃問題とみなす。画像中の関心領域内の情報を選択的に隠蔽する新たな攻撃戦略を提案する。 3つの最先端VLMに対する実験結果から、目標ROIの検出において最大98%の低下が見られた。
参考スコア（独自算出の注目度）: 15.158545794377169
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent years have witnessed remarkable progress in developing Vision-Language Models (VLMs) capable of processing both textual and visual inputs. These models have demonstrated impressive performance, leading to their widespread adoption in various applications. However, this widespread raises serious concerns regarding user privacy, particularly when models inadvertently process or expose private visual information. In this work, we frame the preservation of privacy in VLMs as an adversarial attack problem. We propose a novel attack strategy that selectively conceals information within designated Region Of Interests (ROIs) in an image, effectively preventing VLMs from accessing sensitive content while preserving the semantic integrity of the remaining image. Unlike conventional adversarial attacks that often disrupt the entire image, our method maintains high coherence in unmasked areas. Experimental results across three state-of-the-art VLMs namely LLaVA, Instruct-BLIP, and BLIP2-T5 demonstrate up to 98% reduction in detecting targeted ROIs, while maintaining global image semantics intact, as confirmed by high similarity scores between clean and adversarial outputs. We believe that this work contributes to a more privacy conscious use of multimodal models and offers a practical tool for further research, with the source code publicly available at: https://github.com/hbrachemi/Vlm_defense-attack.
Abstract（参考訳）: 近年では、テキスト入力と視覚入力の両方を処理できる視覚言語モデル(VLM)の開発が目覚ましい進歩を遂げている。これらのモデルは優れた性能を示しており、様々なアプリケーションで広く採用されている。しかし、これは、特にモデルが故意に処理したり、プライベートな視覚情報を公開したりする場合に、ユーザーのプライバシーに関する深刻な懸念を提起する。本研究では,VLMにおけるプライバシの保存を敵攻撃問題とみなす。本稿では、画像中の特定の関心領域(ROI)内の情報を選択的に隠蔽し、残像のセマンティックな整合性を保ちながら、VLMがセンシティブなコンテンツにアクセスするのを効果的に防止する新たな攻撃戦略を提案する。画像全体を破壊する従来の敵攻撃とは違い,本手法はマスキング領域において高いコヒーレンスを維持している。 LLaVA, Instruct-BLIP, BLIP2-T5の3つの最先端VLMに対する実験結果から, ターゲットROIの検出は最大98%減少し, 画像のセマンティクスはそのまま維持された。この研究は、マルチモーダルモデルのよりプライバシーに配慮した利用に寄与し、さらなる研究のための実用的なツールを提供すると考えている。

関連論文リスト

Privacy-Preserving in Connected and Autonomous Vehicles Through Vision to Text Transformation [0.9831489366502302]
本稿では,フィードバックベース強化学習(RL)と視覚言語モデル(VLM)を活用した,新たなプライバシ保護フレームワークを提案する。イメージを意味論的に等価なテキスト記述に変換し、視覚的プライバシが保持されている間にシーン関連情報が保持されることを保証する。評価結果は,プライバシ保護とテキスト品質の両方において,大幅な改善が見られた。
論文参考訳（メタデータ） (2025-06-18T20:02:24Z)
Screen Hijack: Visual Poisoning of VLM Agents in Mobile Environments [61.808686396077036]
GHOSTは視覚言語モデル(VLM)上に構築された移動体エージェントに特化して設計された最初のクリーンラベルバックドア攻撃である。本手法は,トレーニングサンプルの一部の視覚入力のみを,対応するラベルや指示を変更することなく操作する。実世界の6つのAndroidアプリとモバイルに適応した3つのVLMアーキテクチャを対象に,本手法の評価を行った。
論文参考訳（メタデータ） (2025-06-16T08:09:32Z)
Transferable Adversarial Attacks on Black-Box Vision-Language Models [63.22532779621001]
敵対的攻撃は、テキストのみのコンテキストとビジョンのみのコンテキストにおいて、オープンソースからプロプライエタリなブラックボックスモデルに移行することができる。攻撃者は、特定の攻撃者による視覚情報の解釈を誘導するために、摂動を作れます。普遍的な摂動 -- 広い範囲のイメージに適用可能な修正 -- は、これらの誤解釈を一貫して引き起こすことを発見した。
論文参考訳（メタデータ） (2025-05-02T06:51:11Z)
AnyAttack: Towards Large-scale Self-supervised Adversarial Attacks on Vision-language Models [39.34959092321762]
VLM(Vision-Language Models)は、画像ベースの敵攻撃に対して脆弱である。我々は、従来の攻撃の制限を超越した自己教師型フレームワークであるAnyAttackを紹介する。
論文参考訳（メタデータ） (2024-10-07T09:45:18Z)
TrojVLM: Backdoor Attack Against Vision Language Models [50.87239635292717]
本研究では、視覚言語モデル(VLM)を対象としたバックドアアタックの最初の調査であるTrojVLMを紹介する。 TrojVLMは、有毒な画像に遭遇したとき、所定のターゲットテキストを出力テキストに挿入する。画像内容のセマンティックな整合性を確保するために,新たなセマンティック保存損失を提案する。
論文参考訳（メタデータ） (2024-09-28T04:37:09Z)
The Phantom Menace: Unmasking Privacy Leakages in Vision-Language Models [31.166994121531232]
VLM(Vision-Language Models)は視覚とテキストの理解を統合し、様々なタスクに適している。これらの機能は、Webからクロールされた大量の未処理データのトレーニングに基づいて構築される。本稿では,これらの脆弱性が存在するかどうかを,ID漏洩に着目して評価する。
論文参考訳（メタデータ） (2024-08-02T12:36:13Z)
White-box Multimodal Jailbreaks Against Large Vision-Language Models [61.97578116584653]
本稿では,テキストと画像のモダリティを併用して,大規模視覚言語モデルにおけるより広範な脆弱性のスペクトルを利用する,より包括的戦略を提案する。本手法は,テキスト入力がない場合に,逆画像プレフィックスをランダムノイズから最適化し,有害な応答を多様に生成することから始める。様々な有害な指示に対する肯定的な反応を誘発する確率を最大化するために、対向テキスト接頭辞を、対向画像接頭辞と統合し、共最適化する。
論文参考訳（メタデータ） (2024-05-28T07:13:30Z)
Safeguarding Vision-Language Models Against Patched Visual Prompt Injectors [31.383591942592467]
視覚言語モデル(VLM)は、視覚とテキストのデータを組み合わせて理解と相互作用を強化する革新的な方法を提供する。パッチベースの敵攻撃は、物理的な視覚応用において最も現実的な脅威モデルと考えられている。本研究では,スムージング技術に根ざした防御機構であるSmoothVLMを導入し,VLMをパッチ付き視覚プロンプトインジェクタの脅威から保護する。
論文参考訳（メタデータ） (2024-05-17T04:19:19Z)
Private Attribute Inference from Images with Vision-Language Models [2.9373912230684565]
視覚言語モデル(VLM)は、画像とテキストの両方を理解することができる。我々は7つの最先端のVLMを評価し、最大77.6%の精度で様々な個人属性を推測できることを発見した。モデルの一般的な能力で精度がスケールすることが観察され、将来のモデルはより強い推論の敵として誤用される可能性が示唆された。
論文参考訳（メタデータ） (2024-04-16T14:42:49Z)
Adversarial Prompt Tuning for Vision-Language Models [86.5543597406173]
AdvPT(Adversarial Prompt Tuning)は、視覚言語モデル(VLM)における画像エンコーダの対向ロバスト性を高める技術である。我々は,AdvPTが白箱攻撃や黒箱攻撃に対する抵抗性を向上し,既存の画像処理による防御技術と組み合わせることで相乗効果を示すことを示した。
論文参考訳（メタデータ） (2023-11-19T07:47:43Z)
Diff-Privacy: Diffusion-based Face Privacy Protection [58.1021066224765]
本稿では,Diff-Privacyと呼ばれる拡散モデルに基づく顔のプライバシー保護手法を提案する。具体的には、提案したマルチスケール画像インバージョンモジュール(MSI)をトレーニングし、元の画像のSDMフォーマット条件付き埋め込みのセットを得る。本研究は,条件付き埋め込みに基づいて,組込みスケジューリング戦略を設計し,デノナイズプロセス中に異なるエネルギー関数を構築し,匿名化と視覚的アイデンティティ情報隠蔽を実現する。
論文参考訳（メタデータ） (2023-09-11T09:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。