論文の概要: QuISE: Defense against Typographic Attacks on VLMs via Query-Irrelevant Semantic Editing

• arxiv url: http://arxiv.org/abs/2608.13119v1
• Date: Thu, 13 Aug 2026 11:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-14 18:29:38.508528
• Title: QuISE: Defense against Typographic Attacks on VLMs via Query-Irrelevant Semantic Editing
• Title（参考訳）: QuISE:クエリ非関連セマンティック編集によるVLMのタイポグラフィー攻撃に対する防御
• Abstract要約: タイポグラフィー攻撃は視覚言語モデルにとって重大な脅威となる。 QuISEは、クエリ非関連セマンティック編集に基づく、モデルに依存しない、トレーニング不要なブラックボックスディフェンスである。
• 参考スコア（独自算出の注目度）: 4.1436924146144944
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Typographic attacks pose a critical threat to vision-language models (VLMs) by injecting misleading text into images and causing models to rely on adversarial textual cues rather than visual evidence. Existing defenses often require model-specific modifications, additional training, or access to internal model components, limiting their applicability to modern closed-source VLMs. In this paper, we propose QuISE, a model-agnostic, training-free black-box defense based on query-irrelevant semantic editing. QuISE first identifies text regions likely to affect the current query through influence-aware text localization. QuISE then replaces these regions with two semantically distinct replacement texts that are irrelevant to both the query and the image. The final answer is determined by answer consistency across the edited images. Extensive experiments on three typographic-attack benchmarks, four attack settings, and four VLMs show that QuISE consistently improves defended accuracy. QuISE achieves a recovery rate of 67.9-75.0% with a harm rate of 0.5-1.1%.
• Abstract（参考訳）: タイポグラフィー攻撃は、誤解を招くテキストを画像に注入し、モデルが視覚的証拠ではなく敵対的なテキストの手がかりに頼ることによって、視覚言語モデル(VLM)に重大な脅威となる。 既存の防御は、しばしばモデル固有の修正、追加の訓練、または内部モデルコンポーネントへのアクセスを必要とし、現代のクローズドソースVLMに適用性を制限する。 本稿では,クエリ非関連セマンティック編集に基づくモデルに依存しない,トレーニング不要なブラックボックスディフェンスQuISEを提案する。 QuISEはまず、影響を認識したテキストローカライゼーションを通じて、現在のクエリに影響を与える可能性のあるテキスト領域を特定する。 その後、QuISEはこれらの領域を、クエリとイメージの両方に関係のない2つの意味的に異なる置換テキストに置き換える。 最終回答は、編集された画像間での回答の一貫性によって決定される。 3つのタイポグラフィー・アタック・ベンチマーク、4つのアタック・セッティング、4つのVLMの大規模な実験は、QuISEが防御精度を常に改善していることを示している。 QuISEの回復率は67.9-75.0%で、損傷率は0.5-1.1%である。

関連論文リスト

• SIGNPOST-Bench: Benchmarking Text-Vision Conflict Resolution in Multimodal Large Language Models [9.496555964908188]
  マルチモーダル大規模言語モデル(MLLM)は、視覚とテキストの組み合わせによって現実の場面で基礎となる予測を行う。 SIGNPOST-Benchは,テキストビジョンのコンフリクト分解能を評価するための,制御されたデファクト・デファクト・ベンチマークである。
  論文  参考訳（メタデータ） (2026-08-04T21:55:47Z)
• Do Images Speak Louder than Words? Investigating the Effect of Textual Misinformation in VLMs [17.56537230934894]
  Vision-Language Models (VLM)は、Visual-Question-Answering (VQA)ベンチマークで強力なマルチモーダル推論能力を示している。 これらのモデルが、誤解を招くテキストのプロンプトに対して脆弱であることを示し、しばしば矛盾するテキストを支持する明確な視覚的証拠をオーバーライドしている。
  論文  参考訳（メタデータ） (2026-01-27T05:04:38Z)
• T2VAttack: Adversarial Attack on Text-to-Video Diffusion Models [67.13397169618624]
  本稿では,テキスト・トゥ・ビデオ(T2V)モデルに対するセマンティックおよび時間的観点からの敵対的攻撃に関する研究であるT2VAttackを紹介する。 提案手法は, 意味的, 時間的クリティカルな単語をプロンプトで識別し, アドレディ検索による同義語に置き換えるT2VAttack-Sと, 最適化された単語を最小の摂動で反復的に挿入するT2VAttack-Iである。
  論文  参考訳（メタデータ） (2025-12-30T03:00:46Z)
• Read or Ignore? A Unified Benchmark for Typographic-Attack Robustness and Text Recognition in Vision-Language Models [6.1438667397171685]
  大型視覚言語モデル(LVLM)は、タイポグラフィー攻撃に対して脆弱である。 既存の評価プロトコルと防御は、頑健性を達成するためにテキストを無視することを暗黙的に奨励する。 本稿では,視覚的質問応答における選択的テキスト使用を形式化した読み書きVQA(RIO-VQA)を紹介する。
  論文  参考訳（メタデータ） (2025-12-10T08:34:28Z)
• Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
  ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。 視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。 提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-08-24T15:45:22Z)
• Empowering Morphing Attack Detection using Interpretable Image-Text Foundation Model [3.013675405024281]
  本稿では,モーフィング攻撃検出のテキスト記述を提供するマルチモーダル学習手法を提案する。 まず,提案フレームワークのゼロショット評価により,一般化可能なモーフィング攻撃検出だけでなく,最も関連性の高いテキストスニペットを予測できることを示す。
  論文  参考訳（メタデータ） (2025-08-13T18:06:29Z)
• TrojVLM: Backdoor Attack Against Vision Language Models [50.87239635292717]
  本研究では、視覚言語モデル(VLM)を対象としたバックドアアタックの最初の調査であるTrojVLMを紹介する。 TrojVLMは、有毒な画像に遭遇したとき、所定のターゲットテキストを出力テキストに挿入する。 画像内容のセマンティックな整合性を確保するために,新たなセマンティック保存損失を提案する。
  論文  参考訳（メタデータ） (2024-09-28T04:37:09Z)
• MirrorCheck: Efficient Adversarial Defense for Vision-Language Models [55.73581212134293]
  本稿では,視覚言語モデルにおける対角的サンプル検出のための,新しい,しかしエレガントなアプローチを提案する。 本手法は,テキスト・トゥ・イメージ(T2I)モデルを用いて,ターゲットVLMが生成したキャプションに基づいて画像を生成する。 異なるデータセットで実施した経験的評価により,本手法の有効性が検証された。
  論文  参考訳（メタデータ） (2024-06-13T15:55:04Z)
• VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
  本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-16T21:17:42Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。