論文の概要: VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification

• arxiv url: http://arxiv.org/abs/2609.06245v1
• Date: Sat, 05 Sep 2026 20:20:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.221588
• Title: VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification
• Title（参考訳）: VDiff-Bench:微細画像差分同定のためのチェアリングベンチマーク
• Abstract要約: VDiff-Benchは、微細な画像差分識別のためのベンチマークである。 それぞれの質問は2つのイメージ入力に対応し、真の違い、2つの強い否定的な説明、そして「違いなし」の気晴らしの4つの選択肢がある。 11の最先端のオープンソースおよびクローズドソースMLLMによる実験は、きめ細かいビジュアル比較が不安定であることを示している。
• 参考スコア（独自算出の注目度）: 53.25222629244709
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question answering, yet they often struggle with a basic comparative skill: identifying what has changed between two similar images. We introduce VDiff-Bench, a challenging multiple-choice benchmark for fine-grained Image Difference Identification. VDiff-Bench contains 1,756 four-way questions over image pairs and covers 10 change categories: position, motion, regional image color, overall image color, appearance/disappearance, noise/resolution, texture, substitution/size, OCR/text, and illumination. Each question corresponds to two image inputs with 4 choices: the true difference, two hard negative descriptions, and a "no difference" distractor. To make the task challenging, we specifically curate ground-truth-conditioned negatives that require models to distinguish the actual change from nearby semantic alternatives. Experiments with 11 state-of-the-art open- and closed-source MLLMs show that fine-grained visual comparison remains brittle: models exhibit uneven performance across sources and change categories, with persistent failures on subtle low-level changes like noises and textures. For instance, three 7-8B-scale open-source MLLMs score 52.5-70.6% on semantic changes but only 8.7-33.3% on low-level changes like noise and texture, falsely assuming no changes between two image inputs. Surprisingly, despite strong performance of other closed-source commercial models, Grok 4.3 demonstrate remarkable performance drop on identifying noise and texture differences between images, falling significantly behind large open-source models like Kimi K2.5 and K3. Overall, VDiff-Bench provides a targeted diagnostic for evaluating comparative visual understanding in MLLMs, exposing failures that are not captured by standard single-image vision-language tasks.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚的質問応答などの一般的な視覚的理解タスクに強く依存するが、2つの類似した画像の間で何が変わったかを特定するための基本的な比較技術に苦慮することが多い。 VDiff-Benchは、微細な画像差分同定のための挑戦的な多重選択ベンチマークである。 VDiff-Benchには、イメージペアに対する1,756の4方向質問が含まれており、位置、動き、地域画像の色、全体像の色、外観/外観、ノイズ/解像度、テクスチャ、置換/サイズ、OCR/テキスト、照明の10種類のカテゴリをカバーしている。 それぞれの質問は2つのイメージ入力に対応し、真の違い、2つの強い否定的な説明、そして「違いなし」の気晴らしの4つの選択肢がある。 課題を困難にするために、我々は、モデルが近くのセマンティックな代替品と実際の変化を区別する必要があるような、真真正条件の負を具体的にキュレートする。 11の最先端のオープンおよびクローズドソースMLLMによる実験では、きめ細かいビジュアル比較は依然として不安定であることが示されている。 例えば、3つの7-8BスケールのオープンソースMLLMはセマンティックチェンジで52.5-70.6%、ノイズやテクスチャなどの低レベルチェンジでは8.7-33.3%と評価されている。 驚いたことに、他のクローズドソースの商用モデルの強力な性能にもかかわらず、Grok 4.3は画像間のノイズとテクスチャの違いを識別する性能が著しく低下し、Kim K2.5やK3のような大規模なオープンソースモデルに大きく遅れている。 全体として、VDiff-BenchはMLLMにおける比較視覚的理解を評価するためのターゲット診断を提供する。

関連論文リスト

• DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues [54.31138496553705]
  DiCoBenchは、きめ細かい知覚のための包括的でマルチイメージの高解像度のベンチマークである。 評価の結果,人的精度 (98.3%) と比較して顕著な性能差がみられた。 DiCoBenchは、自律的で高解像度のマルチイメージ知覚における将来の研究を促進するための、挑戦的なテストベッドとして機能すると考えています。
  論文  参考訳（メタデータ） (2026-06-25T05:02:38Z)
• Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs [23.958966900531692]
  MLLM(Multimodal large language model)は、画像として表示されるテキストを処理できるが、同じコンテンツがテキストトークンとして提供される場合よりも処理が悪くなることが多い。 我々は,この「モダリティギャップ」を7つのベンチマークを5つの入力モードで評価することにより,系統的に診断する。
  論文  参考訳（メタデータ） (2026-03-10T02:14:23Z)
• Change3D: Revisiting Change Detection and Captioning from A Video Modeling Perspective [14.128228451821712]
  ビデオモデリングによる変更検出とキャプションタスクの再認識を行うフレームワークであるChange3Dを提案する。 両時間画像間で学習可能な知覚フレームを統合することにより、ビデオエンコーダは、認識フレームが直接画像と相互作用し、その違いを知覚することができる。
  論文  参考訳（メタデータ） (2025-03-24T15:48:07Z)
• Detect, Describe, Discriminate: Moving Beyond VQA for MLLM Evaluation [13.311411816150551]
  2つの非常に類似した画像を一意に記述する能力により、MLLMが特定の視覚概念をいかによく理解するかを評価する。 D3ベンチマークの一部として247枚の非常に類似した画像ペアをキュレートする。 各画像対について、(1)特定の視覚的差を検知し、(2)目的画像を独自に記述し、(3)対象画像を障害者から識別する。
  論文  参考訳（メタデータ） (2024-09-23T15:31:25Z)
• Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning [71.14084801851381]
  変更キャプションは、類似した画像間のセマンティックな変化を簡潔に記述することを目的としている。 既存のほとんどの手法は、それらの違いを直接キャプチャし、エラーを起こしやすい特徴を得るリスクを負う。 本稿では,2つの画像表現の対応するチャネルを関連づけるイントラクタ免疫表現学習ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T13:00:33Z)
• Describing Differences in Image Sets with Natural Language [101.80939666230168]
  モデルの振る舞いを理解し、データセットを分析するためには、セットレベルの差異を識別することが不可欠である。 本稿では、まずイメージをキャプションし、言語モデルに差分記述を提案するVisDiffを紹介する。 データセットとモデルにこれまで知られていなかった興味深い違いを見つけることができ、微妙な洞察を明らかにする上で、VisDiffの実用性を示すことができます。
  論文  参考訳（メタデータ） (2023-12-05T18:59:16Z)
• The Change You Want to See (Now in 3D) [65.61789642291636]
  本稿の目的は、同じ3Dシーンの2つの「野生」画像の間で何が変わったかを検出することである。 我々は,全合成データに基づいて学習し,クラスに依存しない変化検出モデルに貢献する。 我々は,人間に注釈を付けた実世界のイメージペアによる評価データセットを新たにリリースした。
  論文  参考訳（メタデータ） (2023-08-21T01:59:45Z)
• Equivariant Similarity for Vision-Language Foundation Models [134.77524524140168]
  本研究は、主要な訓練目的だけでなく、下流タスクをサポートするためのコアデリバリであるマルチモーダル類似性関数に焦点を当てる。 一致した2組のトレーニングペアから効率よく計算できる正規化損失であるEqSimを提案する。 既存の評価セットと比較すると、EqBenは"視覚的最小限の変化"に最初に焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-25T13:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。