論文の概要: Probing Negation Understanding in Vision-Language Models With Object Attention
- arxiv url: http://arxiv.org/abs/2610.20852v1
- Date: Wed, 14 Oct 2026 19:41:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.044844
- Title: Probing Negation Understanding in Vision-Language Models With Object Attention
- Title(参考訳): 対象を意識した視覚言語モデルにおける否定的理解の提案
- Abstract要約: 否定は言語理解の基本的な側面であり、視覚言語モデル(VLM)が効果的に処理できることが重要である。
異なるモデルの注意パターンを解析することにより,VLMのプロセスの否定について検討する。
否定を解消する際、一般的に人間のような注意パターンに従わないモデルがあることは、注意以外のメカニズムに依存していることを示唆している。
- 参考スコア(独自算出の注目度): 8.27159524171366
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Negation is a fundamental aspect of language understanding and it is important vision-language models (VLMs) are able to process it effectively. We investigate how VLMs process negation by analysing attention patterns of different models. We draw comparisons between human gaze and attention in models when processing affirmative vs negated statements. We compare object level model attention to human eye-fixations in both binary and multary settings, evaluating with both synthetic and realistic datasets. We find models generally do not follow human-like attention patterns when resolving negation, suggesting they rely on mechanisms outside of attention. While layerwise analysis shows that PaliGemma2-3B shifts object attention to the alternative under negation, our headwise ablations suggest this is a byproduct rather than a negation processing mechanism. Additionally, we find that LLaVA-1.5-7B displays a spatial bias towards left-side objects. Our evaluation of models on downstream tasks shows that all models have a discrepancy between affirmative and negated questions highlighting the need to better understand the underlying processing of negation to close this performance gap. Code available at https://github.com/otmive/negation_attention
- Abstract(参考訳): 否定は言語理解の基本的な側面であり、視覚言語モデル(VLM)が効果的に処理できることが重要である。
異なるモデルの注意パターンを解析することにより,VLMのプロセスの否定について検討する。
我々は、肯定的文と否定的文の処理において、人間の視線と注意をモデルで比較する。
オブジェクトレベルモデルの注目度と人間の眼球固定度を2値・3値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値・2値
否定を解消する際、一般的に人間のような注意パターンに従わないモデルがあることが、注意以外のメカニズムに依存していることを示唆している。
PaliGemma2-3Bは, 否定処理機構ではなく副産物であることを示す。
さらに, LLaVA-1.5-7Bは, 左側の物体に対して空間バイアスを示す。
下流タスクにおけるモデルの評価は、全てのモデルが肯定的および否定的な質問に相違があることを示し、このパフォーマンスギャップを埋めるために、否定処理の基盤となる処理をよりよく理解する必要があることを強調している。
https://github.com/otmive/negation_attentionで利用可能なコード
関連論文リスト
- How Language Models Process Negation [56.41361273288279]
本研究では,Large Language Models (LLMs) の否定処理を機械的に行う方法について検討する。
我々の研究は、LLMの内部の理解を深め、構築に支配的な計算と競合する機構の共存を強調した。
論文 参考訳(メタデータ) (2026-05-04T18:17:05Z) - Mastering Negation: Boosting Grounding Models via Grouped Opposition-Based Learning [87.15765427638195]
D-Negationは、ポジティブな意味記述とネガティブな意味記述の両方で注釈付けされたオブジェクトを提供する新しいデータセットである。
本稿では,限られたサンプルから否定認識表現を学習する,反抗型学習フレームワークを提案する。
モデルパラメータの10%未満を微調整することにより、正および負のセマンティック評価において最大4.4mAPおよび5.7mAPの改善が達成される。
論文 参考訳(メタデータ) (2026-03-13T03:21:48Z) - BLINK-Twice: You see, but do you observe? A Reasoning Benchmark on Visual Perception [67.89135437537179]
我々は視覚中心の推論ベンチマークであるBLINK-Twiceを紹介した。
外部の知識に頼るのではなく、私たちのタスクは視覚的コンテンツのみから推論するモデルを必要とします。
事前の知覚ベンチマークと比較すると、浅い知覚を超越し、きめ細かい観察と分析的推論を必要とする。
論文 参考訳(メタデータ) (2025-10-10T13:14:13Z) - NegVQA: Can Vision Language Models Understand Negation? [10.58857445465026]
NegVQA(ネグVQA)は、様々な否定シナリオと画像探索分布をカバーする7,379の2項目からなる視覚的質問応答(VQA)ベンチマークである。
我々は,既存のVQAデータセットから質問の否定バージョンを生成するために,大規模な言語モデルを活用してNegVQAを構築する。
我々は、7つのモデルファミリーにわたる20の最先端のビジョン言語モデルを評価し、これらのモデルが否定にかなり苦労していることを見出した。
論文 参考訳(メタデータ) (2025-05-28T23:58:37Z) - Negation: A Pink Elephant in the Large Language Models' Room? [2.8078480738404]
否定は文の意味を決定する鍵であり、論理的推論には不可欠である。
その重要性にもかかわらず、否定は大きな言語モデル(LLM)に重大な課題をもたらす。
論文 参考訳(メタデータ) (2025-03-28T13:04:41Z) - Vision-Language Models Do Not Understand Negation [50.27667000027403]
NegBenchは18のタスクバリエーションと79ドルのサンプルに対する否定的理解を評価するために設計されたベンチマークである。
提案手法は, 否定的クエリに対するリコールが10%増加し, 否定的キャプションを用いた複数質問に対する精度が28%向上することを示す。
論文 参考訳(メタデータ) (2025-01-16T09:55:42Z) - Suspected Object Matters: Rethinking Model's Prediction for One-stage
Visual Grounding [93.82542533426766]
疑似オブジェクト間の対象オブジェクト選択を促進するため,疑似オブジェクト変換機構(SOT)を提案する。
SOTは既存のCNNとTransformerベースのワンステージ視覚グラウンドにシームレスに統合できる。
実験の結果,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2022-03-10T06:41:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。