論文の概要: Cross-Modal Attention Acts as a Frequency Filter: Why Verbose Prompts Improve Robustness in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.20139v1
• Date: Thu, 17 Sep 2026 12:31:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.271273
• Title: Cross-Modal Attention Acts as a Frequency Filter: Why Verbose Prompts Improve Robustness in Vision-Language Models
• Title（参考訳）: 周波数フィルタとしてのクロスモーダルアテンション法--視覚言語モデルにおけるバーボースプロンプトのロバスト性の改善
• Abstract要約: 質問の文言が視覚言語モデル(VLM)に影響を与えることが判明した。 動詞の質問はVLMを著しく堅牢にし、セマンティックに複雑な質問は画像の破損下ではより脆弱にする。 実践的なレシピ--プロンプトをパディングすると、画像の破損下であっても、精度が測定可能な向上をもたらす。
• 参考スコア（独自算出の注目度）: 35.08044054973485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) are fragile under image corruption. We find that the wording of the question affects VLMs in two opposite ways. Verbose questions make VLMs substantially more robust---e.g., rephrasing "Is there a cat?" into "Please look carefully and answer: is there a cat?". Conversely, VLMs become more fragile under corruption when the question is semantically complex or finer-grained, e.g., "what colour is the cup left of the chair?" instead of "is there a cup?". Both effects stem from question-conditioned cross-modal attention, which induces a spectral filter over image patches: verbose questions broaden its frequency support, while fine-grained questions concentrate it onto fewer visual scales. The model's answer drifts most when this filter and the corruption sit on the same spatial frequencies. We test the filter view on Qwen3-VL and LLaVA-OneVision across GQA and CLEVR; verbose paraphrasing reduces drift variance by 70--81% on the 8B models. The practical recipe---pad the prompt---further yields measurable gains in accuracy, even under image corruption.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、画像の破損下で脆弱である。 質問の文言はVLMに2つの逆の影響を与えることがわかった。 直訳すると、VLMはより頑丈になり、例えば「猫はいるのか?」を「慎重に見て答えて、猫はいるのか?」と表現する。 逆に、VLMは、質問が意味論的に複雑かよりきめ細かな、例えば「どの色が椅子に残っているのか?」という問いが「カップはあるのか?」ではなく、より脆弱になる。 どちらの効果も、画像パッチに対するスペクトルフィルタを誘導する質問条件のクロスモーダルアテンションに由来する:冗長な質問は周波数サポートを広げ、きめ細かい質問はより少ない視覚尺度に集中する。 このフィルタと破損が同じ空間周波数に収まると、モデルの答えは最もドリフトする。 GQA と CLEVR をまたいだ Qwen3-VL と LLaVA-OneVision のフィルタビューを検証し、8B モデルのドリフト分散を70～81%削減する。

関連論文リスト

• VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification [53.25222629244709]
  VDiff-Benchは、微細な画像差分識別のためのベンチマークである。 それぞれの質問は2つのイメージ入力に対応し、真の違い、2つの強い否定的な説明、そして「違いなし」の気晴らしの4つの選択肢がある。 11の最先端のオープンソースおよびクローズドソースMLLMによる実験は、きめ細かいビジュアル比較が不安定であることを示している。
  論文  参考訳（メタデータ） (2026-09-05T20:20:24Z)
• Self-Evolving Visual Questioner [53.949845616431624]
  視覚言語モデル(VLM)は一般的に受動応答器として訓練される。 VLMは外部の監督なしに視覚的質問者として継続的に改善できることを示す。 本稿では,VLM自体をプロジェクタとフィルタの両方として使用する自己進化型フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-11T21:45:46Z)
• Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts [7.071615105094556]
  視覚的属性は、初期層から線形にデオード可能であることを示す。 初期のレイヤでのトレーニング不要なアクティベーションは、いくつかの設定で性能を低下させることなく、最大3.8%の視覚的グラウンド化を向上できることを示す。
  論文  参考訳（メタデータ） (2026-04-10T14:36:07Z)
• BLaVe-CoT: Consistency-Aware Visual Question Answering for Blind and Low Vision Users [0.42970700836450487]
  Visual Question Answering (VQA)は、Blind and Low Vision (BLV)ユーザを支援する大きな可能性を秘めている。 BLaVe-CoTは、あいまいさに直面した応答一貫性を推論するために設計されたVQAフレームワークである。
  論文  参考訳（メタデータ） (2025-09-07T10:58:17Z)
• Analyzing the Sensitivity of Vision Language Models in Visual Question Answering [3.2016458534910455]
  我々は、視覚言語モデル(VLM)が、Griceの最大値に対する違反を人間に類似した方法で処理できるかどうかを検討する。 我々は、GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Flashの3つの最先端VLMを使用している。
  論文  参考訳（メタデータ） (2025-07-28T21:01:28Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Invariant Grounding for Video Question Answering [72.87173324555846]
  Video Question Answering (ビデオQA)は、ビデオに関する質問に答えるタスクである。 先行するビデオQAモデルでは、典型的な学習目標である経験的リスク最小化(ERM)が、ビデオクエストペアと回答の間の表面的相関に基づく。 Invariant Grounding for VideoQA (IGV) という新たな学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-06T04:37:52Z)
• Reducing Language Biases in Visual Question Answering with Visually-Grounded Question Encoder [12.56413718364189]
  VQAのための新しいモデルに依存しない質問エンコーダVGQE(Visually-Grounded Question)を提案する。 VGQEは、質問をエンコードしながら、視覚と言語の両方のモダリティを等しく利用する。 VGQEが最近の3つのVQAモデルに与える影響を実証し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-07-13T05:36:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。