論文の概要: Saying No by Asking Yes: Affirmative Decomposition and Evidence Reflection for Frozen CLIP
- arxiv url: http://arxiv.org/abs/2611.15047v1
- Date: Wed, 11 Nov 2026 05:16:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.049223
- Title: Saying No by Asking Yes: Affirmative Decomposition and Evidence Reflection for Frozen CLIP
- Title(参考訳): Yesを尋ねてノーと言う:冷凍CLIPの肯定的分解とエビデンス反射
- Abstract要約: 我々はこの非対称性をネゲーション・アウェア・エビデンス・スコリング(NAES)で活用する。
NAESは否定的な記述を肯定的なクエリに修正し、それらの証拠をキャプション構造で結合する。
精度はCOCO-MCQで82.4%、VOC2007-MCQで93.0%である。
- 参考スコア(独自算出の注目度): 7.355176342411132
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Frozen vision-language models often match concepts mentioned in a caption without respecting their negation: a query "a kitchen with no toaster" favors an image containing a toaster. Yet these models are substantially stronger at matching affirmative descriptions. We exploit this asymmetry with Negation-Aware Evidence Scoring (NAES), which reformulates negated descriptions into affirmative queries and combines their evidence by caption structure. A lightweight text decomposer, NegSplit, identifies this structure by extracting negated spans and the remaining affirmative context. For captions with an affirmative remainder, NAES matches that content and applies a presence-based correction for the denial. When no affirmative content remains, it queries the denied object's presence and reflects the evidence around a reference to score the negated description. With LAION-2B CLIP, NAES achieves 82.4% accuracy on COCO-MCQ and 93.0% on VOC2007-MCQ, surpassing KTN by 2.9 and 0.9 percentage points; with OpenAI CLIP, it exceeds PeakPatch accuracy by 4.4 and 26.0 points, respectively. NAES also improves negated-description retrieval on COCO and MSR-VTT, with gains extending to SigLIP, SigLIP 2, and larger CLIP encoders. The strongest multiple-choice results use competing descriptions to center and align evidence; retrieval improvements persist without this conditioning. These findings show that explicitly separating affirmative matching from denied-object evidence can substantially improve negation-aware ranking.
- Abstract(参考訳): 凍結した視覚言語モデルは、しばしば否定を尊重せずにキャプションで言及された概念と一致する:「トースターのないキッチン」というクエリは、トースターを含むイメージを好んでいる。
しかし、これらのモデルは肯定的な記述に合致するほど強力である。
我々は、否定的記述を肯定的なクエリに再構成し、それらの証拠をキャプション構造で結合する、否定的エビデンス・スコアリング(NAES)とこの非対称性を利用する。
軽量テキスト分解器NegSplitは、否定されたスパンと残りの肯定的なコンテキストを抽出することで、この構造を識別する。
肯定的な残余を持つキャプションについては、NAESはその内容と一致し、デニアルに対して存在ベースの修正を適用する。
肯定的な内容が残っていない場合、否定されたオブジェクトの存在を問い合わせ、参照に関する証拠を反映して、否定された記述をスコアする。
LAION-2B CLIPでは、NAESはCOCO-MCQで82.4%、VOC2007-MCQで93.0%、KTNで2.9、0.9%、OpenAI CLIPではPeakPatchで4.4、26.0ポイントをそれぞれ上回る。
NAESはまたCOCOとMSR-VTTの否定記述検索を改善し、SigLIP、SigLIP 2、より大きなCLIPエンコーダにまで拡張した。
最強の多重選択結果は、競合する記述を用いて証拠を集中させ整列させる。
これらの結果から,肯定的一致と否定的証拠とを明確に分離することは否定的評価を著しく向上させる可能性が示唆された。
関連論文リスト
- NegT2IBench: When Negation Changes the Picture. A Polarity Benchmark for Text-to-Image Models [42.95507596219371]
我々は2つの属性タイプと4つの関係カテゴリをカバーする4,800のプロンプトのベンチマークであるNegT2IBenchを紹介した。
私たちの検出器に基づくスコアは再現可能で、監査可能で、要求が失敗したピンポイントです。
論文 参考訳(メタデータ) (2026-10-02T10:03:56Z) - Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。
ラベルを適用すれば依存性認定正当性(D-CC)が得られる
4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
論文 参考訳(メタデータ) (2026-07-29T15:55:31Z) - Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models [11.172591458557832]
視覚言語モデルは、ゼロショット検索が可能な類似性インターフェースを公開するが、構成上の制約に失敗する。
本稿では,制約実行からエビデンスを抽出する因子推論を提案する。
また、FACTOR-Benchを導入し、LCSEは最高の微調整ベースラインに対して 73.2% に対して85.5% の精度を達成した。
論文 参考訳(メタデータ) (2026-07-25T05:39:51Z) - The Sound of Absence: Audio-Language Embedding Models Struggle with Negation [58.04745279785462]
埋め込みモデルは、否定された音のコンセプトを符号化できないことを示す。
データセットを2つの否定対応タスクに変換するフレームワークであるNegEval-Audioを紹介した。
論文 参考訳(メタデータ) (2026-07-14T02:55:00Z) - Interpreting Negation in GPT-2: Layer- and Head-Level Causal Analysis [0.0]
ネゲーションは現代言語モデルにとって永続的な課題である。
我々は、GPT-2 の言語変換を小さく内部的にどのように処理するかの因果解析を行う。
論文 参考訳(メタデータ) (2026-03-12T20:10:34Z) - Not Just What's There: Enabling CLIP to Comprehend Negated Visual Descriptions Without Fine-tuning [23.10421006625293]
CLIPのようなビジョンランゲージモデル(VLM)は否定を理解するのに苦労する。
既存の方法は、微調整のCLIPのテキストエンコーダを通じて否定的理解を洗練し、過度に適合するリスクがある。
我々はCLIPの視覚的記述の理解能力を高めるプラグイン・アンド・プレイフレームワークであるCLIPGlassesを提案する。
論文 参考訳(メタデータ) (2026-02-24T15:55:39Z) - Know "No" Better: A Data-Driven Approach for Enhancing Negation Awareness in CLIP [57.33324843049638]
本稿では,大言語モデル(LLM)と多モーダルLLMを用いたデータ生成パイプラインを導入し,否定を包含するキャプションを生成する。
パイプラインから生成したデータを微調整したCLIPを用いて,一般性を維持しつつ否定意識を高めるNegationCLIPを開発した。
さまざまなCLIPアーキテクチャの実験は、CLIPの否定を正確に認識する能力を向上する上で、データ生成パイプラインの有効性を検証する。
論文 参考訳(メタデータ) (2025-01-19T01:17:05Z) - Vision-Language Models Do Not Understand Negation [50.27667000027403]
NegBenchは18のタスクバリエーションと79ドルのサンプルに対する否定的理解を評価するために設計されたベンチマークである。
提案手法は, 否定的クエリに対するリコールが10%増加し, 否定的キャプションを用いた複数質問に対する精度が28%向上することを示す。
論文 参考訳(メタデータ) (2025-01-16T09:55:42Z) - The Hard Positive Truth about Vision-Language Compositionality [64.8065854134201]
視覚言語モデルがハードポジティクスに不変であるかどうかを考察する。
強陰性字幕と強陰性字幕を併用した1,775,259枚の画像テキスト・トレーニングセットを作成した。
本研究は,CLIPの「肯定的」概念間の意味的関係の理解を徹底的に検証し,改善するための今後の研究の必要性を示唆するものである。
論文 参考訳(メタデータ) (2024-09-26T15:36:10Z) - Learn "No" to Say "Yes" Better: Improving Vision-Language Models via Negations [43.484570564890866]
既存の視覚言語モデル(VLM)は、テキスト記述を単位として扱い、個々の概念をプロンプトで混乱させる。
CC-Negは,228,246のイメージ,真のキャプション,それに対応する否定的なキャプションを含むデータセットである。
提案するCoN-CLIPフレームワークであるCLIPの対照的な損失に対する修正とともにCC-Negを用いることで,否定の理解が向上した。
論文 参考訳(メタデータ) (2024-03-29T17:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。