論文の概要: Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.22602v1
• Date: Thu, 15 Oct 2026 19:55:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.65335
• Title: Stuck on Shuffle: On Attribute-Object Binding in Vision-Language Models
• Title（参考訳）: Stuck on Shuffle:Vision-Language Modelにおける属性オブジェクトバインディングについて
• Abstract要約: 画像とテキストのモダリティのペアリングにおける属性オブジェクトのバインディングを評価するためのベンチマークであるSABERを紹介する。 MLLMベースの埋め込みを合成属性結合テキストのみに精細化する。 我々のモデルは、否定とインスタンス検索ベンチマークを改善しながら、SABERを達成する。
• 参考スコア（独自算出の注目度）: 20.101245044515217
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Retrieval is a fundamental task in multimodal systems: given an image or text query, the goal is to find the most relevant images or texts in a collection, often using a shared embedding space. Reliable retrieval requires these embeddings to capture not only which concepts are present, but also how they are composed. One key compositional challenge is attribute--object binding: encoding which attributes belong to which objects. Existing benchmarks provide a limited view of this capability, typically covering a subset of modality pairings, simple two-object swaps, or small attribute sets. Consequently, it remains unclear how robustly current models preserve attribute--object bindings across different modality pairings and more complex settings. We therefore introduce SABER, a controlled benchmark for evaluating attribute--object binding across all four image and text modality pairings, spanning diverse attribute types and scenes with up to ten objects. Evaluating models on SABER reveals substantial binding failures in both CLIP-style dual encoders and recent MLLM-based embedders. These findings motivate us to ask how binding can be improved efficiently. While multimodal supervision may be effective, collecting suitable images is difficult and costly. Text, on the other hand, is well suited to binding supervision: it is cheap to generate, supports a broader range of attributes and enables precisely controlled hard negatives. We thus finetune an MLLM-based embedder exclusively on synthetic attribute-binding text. Despite the absence of image supervision, the gains transfer to cross-modal and image--image retrieval while preserving general multimodal embedding performance. Our model achieves SOTA results on SABER while also improving on negation and instance-retrieval benchmarks, demonstrating broader benefits of our binding-focused supervision.
• Abstract（参考訳）: Retrievalはマルチモーダルシステムにおける基本的なタスクであり、画像やテキストクエリが与えられた場合、しばしば共有埋め込みスペースを使用して、コレクション内で最も関連性の高い画像やテキストを見つけることが目標である。 信頼性の高い検索には、どの概念が存在するかだけでなく、どのように構成されているかを捉える必要がある。 重要な構成上の課題の1つは属性オブジェクトバインディング(属性がどのオブジェクトに属するかを符号化する)である。 既存のベンチマークは、通常、モダリティペアリング、単純な2オブジェクトスワップ、または小さな属性セットのサブセットをカバーする、この機能の限られたビューを提供する。 その結果、現在のモデルが属性-オブジェクトの結合を異なるモダリティペアリングとより複雑な設定でどのように保っているかは明らかになっていない。そこで、最大10個のオブジェクトを持つ様々な属性タイプとシーンにまたがって、4つの画像とテキストのモダリティペアリングをまたいで属性-オブジェクトのバインディングを評価するための制御ベンチマークであるSABERを導入する。 SABERのモデルを評価すると、CLIPスタイルのデュアルエンコーダと最近のMLLMベースの埋め込み器の両方において、かなりの結合障害が明らかになる。 これらの知見は、どのように効率的に結合を改善できるかを問う動機となっている。 マルチモーダル監視は効果的であるが、適切な画像の収集は困難でコストがかかる。 一方、テキストはバインディングの監督に適しており、より安価に生成でき、幅広い属性をサポートし、正確に制御されたハードネガティブを可能にする。 そこで我々はMLLMベースの埋め込みを合成属性結合テキストのみに精細化する。 画像監視の欠如にもかかわらず、一般的なマルチモーダル埋め込み性能を維持しながら、クロスモーダルおよびイメージ画像検索に転送される。 我々のモデルは、SABER上でSOTA結果を達成すると同時に、ネゲーションとインスタンス検索ベンチマークを改善し、バインディング中心の監視のより広範なメリットを示す。

関連論文リスト

• ABE-CLIP: Training-Free Attribute Binding Enhancement for Compositional Image-Text Matching [9.610261779024219]
  ABE-CLIPは、CLIPのようなモデルにおける属性オブジェクトのバインディングを強化するために設計された、トレーニング不要な属性バインディング拡張手法である。 我々はセマンティック・リファインメント(Semantic Refinement)機構を用いて、テキスト中のオブジェクトと属性の両方のフレーズに対するトークンの埋め込みを洗練する。 局所化類似度スコアを集約することにより、ABE-CLIPは最終的な画像-テキスト類似度を計算する。
  論文  参考訳（メタデータ） (2025-12-19T02:36:51Z)
• DIPO: Dual-State Images Controlled Articulated Object Generation Powered by Diverse Data [67.99373622902827]
  DIPOは、一対のイメージから調音された3Dオブジェクトを制御可能な生成するためのフレームワークである。 本稿では,イメージペア間の関係を捉え,部分配置と関節パラメータを生成するデュアルイメージ拡散モデルを提案する。 複雑な3Dオブジェクトの大規模データセットであるPM-Xについて,レンダリング画像,URDFアノテーション,テキスト記述を伴って提案する。
  論文  参考訳（メタデータ） (2025-05-26T18:55:14Z)
• VSC: Visual Search Compositional Text-to-Image Diffusion Model [15.682990658945682]
  本稿では,一対のイメージ埋め込みを利用して属性オブジェクトの結合を改善する新しい合成生成手法を提案する。 提案手法は,複雑なプロンプトをサブプロンプトに分解し,対応する画像を生成し,テキスト埋め込みと融合して表現を強化する視覚プロトタイプを計算する。 提案手法は,T2I CompBenchベンチマークにおける既存の合成テキスト・画像拡散モデルより優れ,画像品質の向上,人間による評価,およびプロンプト内の結合対のスケーリングによる堅牢性の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-02T08:31:43Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• ARMADA: Attribute-Based Multimodal Data Augmentation [93.05614922383822]
  Attribute-based Multimodal Data Augmentation (ARMADA) は、知識誘導による視覚属性の操作による新しいマルチモーダルデータ拡張手法である。 ARMADAは、新しいマルチモーダルデータ生成フレームワークである。 (i) 意味的に一貫性があるがユニークな画像-テキストペア生成のために、シンボリックKBから知識基底属性を抽出する。 これはまた、解釈可能性の向上と現実世界の接地のために外部の知識プロキシを活用する必要性を強調している。
  論文  参考訳（メタデータ） (2024-08-19T15:27:25Z)
• Composing Object Relations and Attributes for Image-Text Matching [70.47747937665987]
  この研究は、シーングラフを利用して、リレーショナルエッジで相互接続されたオブジェクトや属性のノードでキャプションを表現するデュアルエンコーダ画像テキストマッチングモデルを導入する。 本モデルは,オブジェクト属性とオブジェクトオブジェクトの意味関係を効率的に符号化し,ロバストかつ高速な性能システムを実現する。
  論文  参考訳（メタデータ） (2024-06-17T17:56:01Z)
• M$^3$Net: Multi-view Encoding, Matching, and Fusion for Few-shot Fine-grained Action Recognition [80.21796574234287]
  M$3$Netは、FS-FGアクション認識のためのマッチングベースのフレームワークである。 textitmulti-view エンコーディング、textitmulti-view matching、textitmulti-view fusion を組み込んで、埋め込みエンコーディング、類似性マッチング、意思決定を容易にする。 説明可能な可視化と実験結果により,M$3$Netの微細な動作の詳細を捉える上での優位性が示された。
  論文  参考訳（メタデータ） (2023-08-06T09:15:14Z)
• Conditional Cross Attention Network for Multi-Space Embedding without Entanglement in Only a SINGLE Network [1.8899300124593648]
  本研究では,複数の特定の属性に対して,単一のバックボーンのみを交叉する多空間埋め込みを誘導する条件付きクロスアテンションネットワークを提案する。 提案手法は,FashionAI,DARN,DeepFashion,Zappos50Kベンチマークデータセット上で一貫した最先端性能を実現した。
  論文  参考訳（メタデータ） (2023-07-25T04:48:03Z)
• Learning to Infer Unseen Single-/Multi-Attribute-Object Compositions with Graph Networks [47.43595942156663]
  本稿では,複雑な関係を学習するための属性オブジェクト意味関連グラフモデルを提案する。 属性とオブジェクトを表すノードでは、グラフは柔軟に構築でき、単一の属性と複数属性オブジェクトの合成認識を実現する。
  論文  参考訳（メタデータ） (2020-10-27T14:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。