Fugu-MT 論文翻訳(概要): Atomic Visual Entailment: Enhancing Zero-Shot Vision-Language Reasoning through Atomic Fact Decomposition and Learned Selection

論文の概要: Atomic Visual Entailment: Enhancing Zero-Shot Vision-Language Reasoning through Atomic Fact Decomposition and Learned Selection

arxiv url: http://arxiv.org/abs/2610.05630v1
Date: Sun, 04 Oct 2026 23:46:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-10 12:25:02.783069
Title: Atomic Visual Entailment: Enhancing Zero-Shot Vision-Language Reasoning through Atomic Fact Decomposition and Learned Selection
Title（参考訳）: Atomic Visual Entailment: ゼロショットビジョンランゲージ推論のアトミックファクト分解と学習選択による強化
Abstract要約: ビジュアルエンテーメント(VE)は、画像がテキスト仮説を支持するか、矛盾するか、あるいは未決定のままにするかを問う。我々は、仮説を原子事実に分解する原子ビジュアル・エンターメント(AVE)を提案する。 AVEは、凍結した視覚言語モデルを用いて、完全な仮説とその事実から候補予測を生成する。
参考スコア（独自算出の注目度）: 3.528412294866937
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Visual entailment (VE) asks whether an image supports, contradicts, or leaves undecided a textual hypothesis. Strong results come from fine-tuning large vision-language models on labelled data, while zero-shot and hybrid approaches remain far behind. A VE hypothesis often bundles several visual claims, yet existing zero-shot methods reason over it as a single unit. We propose Atomic Visual Entailment (AVE), which decomposes the hypothesis into atomic facts, produces candidate predictions from both the full hypothesis and its facts using frozen vision-language models, and predicts the final label with a lightweight classifier trained only on how those candidates behave. We find that decomposition helps only when the hypothesis context is preserved: judging facts in isolation is worse than not decomposing at all. Full-hypothesis and atomic prediction make complementary errors, and learning which to trust recovers far more of that complementarity than majority voting, reaching 0.803 test accuracy on SNLI-VE without fine-tuning any vision-language model. AVE also localises the visual evidence behind its prediction without region-level supervision. These results suggest that learning which candidate prediction to trust can close much of the gap to fine-tuned systems, offering a practical alternative where fine-tuning a vision-language model directly would need more labelled data or compute than is available.
Abstract（参考訳）: ビジュアルエンテーメント(VE)は、画像がテキスト仮説を支持するか、矛盾するか、あるいは未決定のままにするかを問う。ラベル付きデータ上の細調整された大きな視覚言語モデルによる強い結果が得られ、ゼロショットとハイブリッドのアプローチは依然としてはるかに遅れている。 VE仮説は、しばしば複数の視覚的クレームを束ねるが、既存のゼロショット法は、それを単一の単位として論じる。本稿では,仮説を原子的事実に分解し,凍結した視覚言語モデルを用いて仮説とその事実の両方から候補を予測し,それら候補がどのように振る舞うかを学習した軽量分類器を用いて最終ラベルを予測するアトミックビジュアル・エンターテイメント(AVE)を提案する。私たちは、分解は仮説の文脈が保存されている場合にのみ役立つことに気付きました: 独立して事実を判断することは、完全に分解しないよりも悪いです。完全な仮説と原子予測は相補的な誤りを犯し、信頼する学習は多数決よりもはるかに多くの相補性を回復し、視覚言語モデルを微調整することなくSNLI-VEで0.803のテスト精度に達する。 AVEはまた、地域レベルの監督なしに予測の背後にある視覚的証拠をローカライズする。これらの結果は、信頼すべき候補予測が、微調整されたシステムとのギャップの大部分を埋めることができることを示唆し、視覚言語モデルを直接微調整することで、利用可能な以上のラベル付きデータや計算を必要とする実用的な代替手段を提供する。

論文の概要: Atomic Visual Entailment: Enhancing Zero-Shot Vision-Language Reasoning through Atomic Fact Decomposition and Learned Selection

関連論文リスト