論文の概要: Skeleton-and-Strategy Prompting: Training-Free Negation Understanding for Vision-Language Models
- arxiv url: http://arxiv.org/abs/2610.01180v1
- Date: Thu, 01 Oct 2026 06:53:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.953263
- Title: Skeleton-and-Strategy Prompting: Training-Free Negation Understanding for Vision-Language Models
- Title(参考訳): Skeleton-and-Strategy Prompting:Vision-Languageモデルのためのトレーニング不要否定理解
- Abstract要約: Skeleton-and-Strategy Prompting (textbfSSP) は、パラメータの更新なしにVLM否定理解能力を改善するトレーニング不要な、コンテキスト内学習手法である。
SSPは、計算効率を保ちながら、否定中心のVQAタスクにおける最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 23.038499764103918
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the strong performance of Vision-Language Models (VLMs) on a wide range of visual question answering (VQA) tasks, these models consistently struggle to understand negation and produce incorrect answers when questions involve negated clauses. To address this limitation, we propose Skeleton-and-Strategy Prompting (\textbf{SSP}), a training-free, in-context learning method that improves VLM negation understanding capabilities without any parameter updates. Given a negation question, our method first abstracts the underlying question structure into a skeleton, retrieves a small set of same-skeleton questions from a lightweight question pool, then prompts the VLM to analyze their shared negation pattern and synthesize a single-sentence answering strategy. The skeleton and strategy are prepended to the test sample to guide the model correctly tackle the negation problems. Experiments on multiple negation VQA benchmarks show that SSP achieves state-of-the-art performance on negation-focused VQA tasks while remaining computationally efficient.
- Abstract(参考訳): 視覚言語モデル(VLM)の幅広い視覚的質問応答(VQA)タスクにおける強いパフォーマンスにもかかわらず、これらのモデルは、否定を理解するのに一貫して苦労し、否定的節を含む場合の誤った回答を生成する。
この制限に対処するため,パラメータ更新を伴わずにVLM否定理解能力を向上させる訓練不要なインコンテキスト学習手法であるSkeleton-and-Strategy Prompting (\textbf{SSP})を提案する。
提案手法はまず,まず,その基礎となる質問構造をスケルトンに抽象化し,軽量な質問プールから同一の質問集合を抽出し,共有否定パターンの分析と単一文応答戦略の合成をVLMに促す。
スケルトンと戦略は、モデルが否定問題に正しく対処するように、テストサンプルに前置される。
複数のネゲーションVQAベンチマークの実験は、SSPが計算効率を保ちながら、ネゲーション中心のVQAタスクの最先端のパフォーマンスを達成することを示した。
関連論文リスト
- NegVQA: Can Vision Language Models Understand Negation? [10.58857445465026]
NegVQA(ネグVQA)は、様々な否定シナリオと画像探索分布をカバーする7,379の2項目からなる視覚的質問応答(VQA)ベンチマークである。
我々は,既存のVQAデータセットから質問の否定バージョンを生成するために,大規模な言語モデルを活用してNegVQAを構築する。
我々は、7つのモデルファミリーにわたる20の最先端のビジョン言語モデルを評価し、これらのモデルが否定にかなり苦労していることを見出した。
論文 参考訳(メタデータ) (2025-05-28T23:58:37Z) - Vision-Language Models Do Not Understand Negation [50.27667000027403]
NegBenchは18のタスクバリエーションと79ドルのサンプルに対する否定的理解を評価するために設計されたベンチマークである。
提案手法は, 否定的クエリに対するリコールが10%増加し, 否定的キャプションを用いた複数質問に対する精度が28%向上することを示す。
論文 参考訳(メタデータ) (2025-01-16T09:55:42Z) - NPHardEval4V: Dynamic Evaluation of Large Vision-Language Models with Effects of Vision [64.83085920775316]
NPHardEval4Vは4つの古典的NPハード問題に基づくマルチモーダルベンチマークスイートである。
各タスクは、構造化された視覚レイアウトとテキストプロンプトを組み合わせることで、視覚言語的制約の下で推論を行うLVLMの能力を評価するように設計されている。
以上の結果から,これらのモデルは知覚に基づく入力に対して合理的に優れているが,グローバルな最適化,抽象化,制約満足度に苦慮していることが明らかとなった。
論文 参考訳(メタデータ) (2024-03-04T07:10:31Z) - Improving Zero-shot Visual Question Answering via Large Language Models
with Reasoning Question Prompts [22.669502403623166]
本稿では,VQAタスクに対する推論質問プロンプトを提案する。
自己完結した質問は、教師なし質問セットモジュールを介して推論された質問プロンプトとして生成する。
各推論質問は、元の質問の意図を明確に示す。
そして、回答整合性として働く信頼度スコアに関連する候補回答をLSMに入力する。
論文 参考訳(メタデータ) (2023-11-15T15:40:46Z) - Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。
その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
論文 参考訳(メタデータ) (2023-10-09T16:57:57Z) - Knowledge-Based Counterfactual Queries for Visual Question Answering [0.0]
本稿では,VQAモデルの動作を説明するための系統的手法を提案する。
そこで我々は,言語的モダリティをターゲットとした決定論的,最適,制御可能な単語レベルの置換を行うために,構造化知識ベースを利用する。
次に、そのような反実的な入力に対するモデルの応答を評価する。
論文 参考訳(メタデータ) (2023-03-05T08:00:30Z) - Learning from Lexical Perturbations for Consistent Visual Question
Answering [78.21912474223926]
既存のVisual Question Answering (VQA)モデルは、しばしば脆弱で入力のバリエーションに敏感である。
本稿では,モジュール型ネットワークに基づく新たなアプローチを提案し,言語摂動による2つの疑問を提起する。
VQA Perturbed Pairings (VQA P2) も提案する。
論文 参考訳(メタデータ) (2020-11-26T17:38:03Z) - Loss re-scaling VQA: Revisiting the LanguagePrior Problem from a
Class-imbalance View [129.392671317356]
本稿では,クラス不均衡の観点から,VQAにおける言語先行問題を理解することを提案する。
これは、なぜVQAモデルが頻繁に、そして明らかに間違った答えをもたらすのかを明確に示している。
また,顔認識や画像分類などの他のコンピュータビジョンタスクに対して,クラス不均衡解釈方式の有効性を正当化する。
論文 参考訳(メタデータ) (2020-10-30T00:57:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。