論文の概要: CompoSET: A Controlled Single-Edit Benchmark for Vision-Language Compositionality

• arxiv url: http://arxiv.org/abs/2610.41118v1
• Date: Fri, 30 Oct 2026 01:18:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.577816
• Title: CompoSET: A Controlled Single-Edit Benchmark for Vision-Language Compositionality
• Title（参考訳）: CompoSET: 視覚言語構成性のためのシングル編集ベンチマーク
• Abstract要約: 視覚言語の構成性は、どの特性、関係、量、状態が画像とキャプションのどの実体に結合しているかを識別する能力である。 既存のベンチマークでは、画像テキストマッチングによってこの能力を評価している。 コンポジション・シングル・エジット(CompoSET)は,各ベースイメージ・キャプション・ペアが編集されたベンチマークデータセットである。
• 参考スコア（独自算出の注目度）: 13.974325196243798
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision-language compositionality is the ability to identify which properties, relations, quantities, and states bind to which entities in both an image and a caption, and to match those bindings across modalities. Existing benchmarks evaluate this ability through image-text matching: a model ranks candidate image-caption match similarities and succeeds when the correct match comes on top. In such datasets, paired images differ by more than a single binding: scene, layout, and content all differ, with 97% of pixels changing on average. Such pairs do not isolate compositionality: results are confounded by global image differences. We introduce Compositional Single-EdiT (CompoSET), a benchmark dataset in which each base image-caption pair has an edited counterpart, or foil, that preserves the scene but differs by a single controlled edit, such as color, count, spatial relation, or object state. Base and foil images preserve naturalistic scene complexity yet are visually near-identical: only 8% of pixels change on average. Our dataset has many foils per base scene (~22) in order to separate scene difficulty from edit difficulty, a distinction one-foil-per-base benchmarks cannot make. CompoSET contains 1,776 instances across 80 naturalistic scenes, spanning 16 edit types in 4 semantic categories, with captions at 3 verbosity levels. We test 22 dual-encoder VLMs and find that all models perform at or below chance level on CompoSET, despite scoring well on prior benchmarks. This suggests that apparent progress under prior image-text matching protocols may be an artifact arising from confounds in benchmark design, and that compositional understanding in dual-encoder VLMs is far from solved. CompoSET addresses the confounds and offers a better controlled benchmark to measure future progress.
• Abstract（参考訳）: 視覚言語の構成性は、どの特性、関係、量、状態が画像とキャプションの両方のどの実体に結合しているかを識別し、それらの結合をモダリティによって一致させる能力である。 既存のベンチマークでは、画像テキストマッチングを通じて、この能力を評価している。 このようなデータセットでは、ペア画像は、シーン、レイアウト、コンテンツなど、ひとつ以上のバインディングによって異なり、平均して97%のピクセルが変化する。 このようなペアは構成性を分離しない: 結果は大域的な画像差によって構成される。 コンポジション・シングル・エジット (CompoSET) は,各ベースイメージ・キャプション・ペアが,シーンを保存するが,色,数,空間的関係,オブジェクト状態などの単一の編集によって異なる,編集対象のホイルを持つベンチマークデータセットである。 ベース画像とフォイル画像は自然界の複雑さを保っているが、視覚的にほぼ同一視されている。 我々のデータセットは、シーンの難易度と編集難易度を区別するために、ベースシーン毎のホイル数(~22)を持つ。 CompoSETには、80の自然主義シーンにまたがる1,776のインスタンスがあり、4つのセマンティックカテゴリに16の編集タイプがあり、キャプションは3つの冗長レベルである。 我々は22個のデュアルエンコーダ VLM をテストし、全てのモデルがCompoSET の確率レベル以下で実行可能であることを発見した。 これは、以前の画像テキストマッチングプロトコルの下での明らかな進歩は、ベンチマーク設計における欠点から生じる成果であり、デュアルエンコーダVLMにおける構成的理解は、解決には程遠いことを示唆している。 CompoSETはコンファウンドに対処し、将来の進捗を測定するためのより良い制御されたベンチマークを提供する。

関連論文リスト

• RealDrag: The First Dragging Benchmark with Real Target Image [9.439854281295803]
  textbfRealDragは、点ベースの画像編集のための最初の包括的なベンチマークであり、ペアの接地真理ターゲット画像を含んでいる。 私たちのデータセットには、さまざまなビデオソースから400以上の人間の注釈付きサンプルが含まれています。 また、Semantical Distance(SeD)、Outer Mask Preserving Score(OMPS)、Inner Patch Preserving Score(IPPS)、Directional similarity(DiS)の4つの新しいタスク特化指標を提案する。
  論文  参考訳（メタデータ） (2025-12-13T11:14:03Z)
• Compositional Image-Text Matching and Retrieval by Grounding Entities [1.962396488631213]
  本稿では,CLIP埋め込みの学習不要なゼロショット拡張法を提案する。 我々は、オブジェクトのサブイメージの個別の埋め込みと、最先端の開語彙検出器によって局所化される関係を計算する。 結果として得られる埋め込みは、テキスト埋め込みと類似性計算に利用され、画像テキストマッチングの精度が平均1.5%向上する。
  論文  参考訳（メタデータ） (2025-05-04T22:18:14Z)
• Image2Struct: Benchmarking Structure Extraction for Vision-Language Models [57.531922659664296]
  Image2Structは、画像から構造を抽出する際のビジョンピクセルモデル(VLM)を評価するためのベンチマークである。 Image2Structでは、VLMが入力画像から基盤構造を生成するように促される。 そして、構造を描画して出力画像を生成し、入力画像と比較して類似度スコアを生成する。
  論文  参考訳（メタデータ） (2024-10-29T18:44:59Z)
• FACTUAL: A Benchmark for Faithful and Consistent Textual Scene Graph Parsing [66.70054075041487]
  画像キャプションをシーングラフに変換する既存のシーングラフは、しばしば2種類のエラーに悩まされる。 まず、生成されたシーングラフはキャプションや対応する画像の真の意味を捉えず、忠実さの欠如をもたらす。 第二に、生成されたシーングラフは一貫性が高く、同じセマンティクスは異なるアノテーションで表される。
  論文  参考訳（メタデータ） (2023-05-27T15:38:31Z)
• Equivariant Similarity for Vision-Language Foundation Models [134.77524524140168]
  本研究は、主要な訓練目的だけでなく、下流タスクをサポートするためのコアデリバリであるマルチモーダル類似性関数に焦点を当てる。 一致した2組のトレーニングペアから効率よく計算できる正規化損失であるEqSimを提案する。 既存の評価セットと比較すると、EqBenは"視覚的最小限の変化"に最初に焦点を当てている。
  論文  参考訳（メタデータ） (2023-03-25T13:22:56Z)
• SceneComposer: Any-Level Semantic Image Synthesis [80.55876413285587]
  任意の精度のセマンティックレイアウトから条件付き画像合成のための新しいフレームワークを提案する。 このフレームワークは、形状情報のない最低レベルのテキスト・トゥ・イメージ(T2I)に自然に還元され、最高レベルのセグメンテーション・トゥ・イメージ(S2I)となる。 本稿では,この新たなセットアップの課題に対処する,新しいテクニックをいくつか紹介する。
  論文  参考訳（メタデータ） (2022-11-21T18:59:05Z)
• Deep Multimodal Image-Text Embeddings for Automatic Cross-Media Retrieval [0.0]
  視覚と言語表現を同時に学習するための,エンドツーエンドの深層マルチモーダル畳み込み再帰ネットワークを提案する。 このモデルは、どのペアがマッチ(正)か、どれがミスマッチ(負)かをヒンジベースの三重項ランキングを用いて学習する。
  論文  参考訳（メタデータ） (2020-02-23T23:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。