論文の概要: On the Reliability of Vision-Language Models Under Adversarial Frequency-Domain Perturbations

• arxiv url: http://arxiv.org/abs/2507.22398v1
• Date: Wed, 30 Jul 2025 05:41:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:18.019519
• Title: On the Reliability of Vision-Language Models Under Adversarial Frequency-Domain Perturbations
• Title（参考訳）: 逆周波数領域摂動下における視覚言語モデルの信頼性について
• Authors: Jordan Vice, Naveed Akhtar, Yansong Gao, Richard Hartley, Ajmal Mian,
• Abstract要約: VLM(Vision-Language Models)は、視覚コンテンツ推論のための知覚モジュールとして使われることが多い。 これらの特徴変換が,画像の自動キャプションタスクの信頼度/ディープフェイク検出にどのような影響を及ぼすかを示す。
• 参考スコア（独自算出の注目度）: 53.611451075703314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) are increasingly used as perceptual modules for visual content reasoning, including through captioning and DeepFake detection. In this work, we expose a critical vulnerability of VLMs when exposed to subtle, structured perturbations in the frequency domain. Specifically, we highlight how these feature transformations undermine authenticity/DeepFake detection and automated image captioning tasks. We design targeted image transformations, operating in the frequency domain to systematically adjust VLM outputs when exposed to frequency-perturbed real and synthetic images. We demonstrate that the perturbation injection method generalizes across five state-of-the-art VLMs which includes different-parameter Qwen2/2.5 and BLIP models. Experimenting across ten real and generated image datasets reveals that VLM judgments are sensitive to frequency-based cues and may not wholly align with semantic content. Crucially, we show that visually-imperceptible spatial frequency transformations expose the fragility of VLMs deployed for automated image captioning and authenticity detection tasks. Our findings under realistic, black-box constraints challenge the reliability of VLMs, underscoring the need for robust multimodal perception systems.
• Abstract（参考訳）: VLM(Vision-Language Models)は、キャプションやDeepFake検出など、視覚コンテンツ推論のための知覚モジュールとして使われることが多い。 本研究では,周波数領域における微妙な構造的摂動に曝露した場合に,VLMの重大な脆弱性を明らかにする。 具体的には、これらの特徴変換が、認証/ディープフェイク検出と自動画像キャプションタスクを損なうかを強調した。 本研究では,周波数領域におけるターゲット画像変換を設計し,周波数摂動実画像や合成画像に曝露した場合に,VLM出力を系統的に調整する。 摂動注入法は、異なるパラメータQwen2/2.5とBLIPモデルを含む5つの最先端VLMを一般化することを示した。 10個の実画像と生成された画像データセットで実験した結果、VLM判定は周波数ベースの手がかりに敏感であり、セマンティックな内容と完全に一致しない可能性があることが判明した。 重要なことは、視覚的に知覚できない空間周波数変換は、自動画像キャプションおよび認証検出タスクに配置されたVLMの脆弱さを露呈することである。 現実的なブラックボックス制約下での我々の発見は、VLMの信頼性に挑戦し、堅牢なマルチモーダル認識システムの必要性を浮き彫りにした。

関連論文リスト

• Unlocking the Capabilities of Large Vision-Language Models for Generalizable and Explainable Deepfake Detection [18.125287697902813]
  現在のLVLM(Large Vision-Language Models)は、マルチモーダルデータの理解において顕著な能力を示している。 深度検出のためのLVLMの潜在能力を解き放つ新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-19T03:20:03Z)
• Semantic-Clipping: Efficient Vision-Language Modeling with Semantic-Guidedd Visual Selection [53.558449071113245]
  Vision-Language Models (VLM) は、アライメントされたビジュアルエンコーダを利用して、画像をビジュアルトークンに変換することで、バックボーン大言語モデル (LLM) によるテキストと同じように処理することができる。 視覚言語モデリングの最近の進歩は、すべての符号化されたサブイメージをモデルに供給する画像トリミング技術を導入している。 本稿では,既存のVLMとシームレスに統合し,細粒度処理能力を高める軽量で普遍的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-14T18:33:31Z)
• Integrating Frequency-Domain Representations with Low-Rank Adaptation in Vision-Language Models [0.6715525121432597]
  本研究では,特徴抽出,拡張性,効率性を向上する新しい視覚言語モデル(VLM)フレームワークを提案する。 ガウス雑音のレベルが異なるベンチマークデータセットを用いて,キャプション生成モデルと視覚質問応答(VQA)タスクの評価を行った。 我々のモデルは、特に無人地上車両(UGV)に搭載されたRealSenseカメラで捉えた現実世界のイメージに対して、より詳細で文脈的に関係のある応答を提供する。
  論文  参考訳（メタデータ） (2025-03-08T01:22:10Z)
• FE-UNet: Frequency Domain Enhanced U-Net for Low-Frequency Information-Rich Image Segmentation [48.034848981295525]
  CNNと人間の視覚系における周波数帯域感度の差について検討する。 本稿では、生体視覚機構にインスパイアされたウェーブレット適応スペクトル融合(WASF)法を提案する。 我々は SAM2 のバックボーンネットワークを利用する FE-UNet モデルを開発し, セグメンテーション精度を確保するために細調整した Hiera-Large モジュールを組み込んだ。
  論文  参考訳（メタデータ） (2025-02-06T07:24:34Z)
• VLM's Eye Examination: Instruct and Inspect Visual Competency of Vision Language Models [19.291697178628546]
  ビジョン言語モデル(VLM)は、様々なベンチマークで有望な推論能力を示している。 本研究では,VLMがどのようにイメージを知覚するかを調べるために,視線検査プロセスを提案する。
  論文  参考訳（メタデータ） (2024-09-23T07:15:29Z)
• BRAVE: Broadening the visual encoding of vision-language models [48.41146184575914]
  視覚言語モデル(VLM)は、例えばCLIPのような視覚エンコーダと、下流タスクを解決するために符号化された特徴を解釈する言語モデル(LM)で構成されている。 目覚しい進歩にもかかわらず、VLMは視覚エンコーダの限られた能力のためにいくつかの欠点に直面している。 BRAVEは,複数の凍結エンコーダの特徴をより汎用的な表現に集約し,凍結したLMへの入力として直接供給することができる。
  論文  参考訳（メタデータ） (2024-04-10T17:59:45Z)
• MouSi: Poly-Visual-Expert Vision-Language Models [132.58949014605477]
  本稿では,個々の視覚エンコーダの能力の相乗化にアンサンブルエキスパート技術を用いることを提案する。 この技術は、異なる視覚専門家の出力の処理を統一する融合ネットワークを導入する。 本実装では,SAMなどのモデルにおける位置占有率を,実質的な4096からより効率的で管理可能な64,さらには1。
  論文  参考訳（メタデータ） (2024-01-30T18:09:11Z)
• Benchmarking Zero-Shot Recognition with Vision-Language Models: Challenges on Granularity and Specificity [45.86789047206224]
  本稿では,ゼロショット認識における視覚言語モデル(VLM)の評価のための新しいベンチマークを提案する。 我々のベンチマークは、意味的粒度レベルにおける概念理解におけるVLMの一貫性と、テキストの特異性に対する応答を検証した。 発見によると、VLMは微粒な概念を適度に好み、特異性に苦しむ。
  論文  参考訳（メタデータ） (2023-06-28T09:29:06Z)
• Masked Frequency Modeling for Self-Supervised Visual Pre-Training [102.89756957704138]
  MFM(Masked Frequency Modeling)は、視覚モデルの自己教師付き事前学習のための統合周波数領域に基づくアプローチである。 MFMはまず入力画像の周波数成分の一部をマスクアウトし、周波数スペクトルの欠落周波数を予測する。 MFMは初めて、ViTとCNNの両方で、単純な非シームフレームワークは、以下のものを使って意味のある表現を学習できることを示した。
  論文  参考訳（メタデータ） (2022-06-15T17:58:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。