論文の概要: Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality

• arxiv url: http://arxiv.org/abs/2606.13288v1
• Date: Thu, 11 Jun 2026 12:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.794115
• Title: Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality
• Title（参考訳）: ビシオ言語構成性向上のためのクロスモーダルマスク構成概念モデリング
• Authors: Wei Li, Zhen Huang, Xinmei Tian,
• Abstract要約: CLIPのような対照的に訓練された視覚言語モデルは、共同画像テキスト表現の学習において顕著な進歩を遂げた。 それらはしばしば"bag-of-words"の振る舞いを示し、オブジェクトの関係、属性オブジェクトのバインディング、および単語順序の依存関係をキャプチャするために強化する。 本研究では,構成概念を一様に隠蔽するフレームワークMACCOを提案する。
• 参考スコア（独自算出の注目度）: 18.431462064948178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastively trained vision-language models like CLIP, have made remarkable progress in learning joint image-text representations, but still face challenges in compositional understanding. They often exhibit a "bag-of-words" behavior--struggling to capture the object relations, attribute-object bindings, and word order dependencies. This limitation arises not only from the reliance on global, single-vector representations for optimization, but also from the insufficient exploitation and modeling of the rich compositional information inherently present in paired image text data. In this work, we propose MACCO (MAsked Compositional Concept MOdeling), a framework that masks compositional concepts in one modality and reconstructs them conditioned on the full contextual information from the other, enabling the model to capture and align cross-modal compositional structures more effectively. To facilitate this process, we introduce two auxiliary objectives that jointly align and regularize masked features both inter-modally and intra-modally. Extensive experiments on five compositional benchmarks, along with in-depth analyses, demonstrate that our approach not only significantly enhances compositionality in VLMs but also improves their ability to capture syntactic structure and linguistic information. Additionally, the improved compositionality also benefits text-to-image generation and multimodal large language model. Code is available at https://github.com/hiker-lw/MACCO.
• Abstract（参考訳）: CLIPのような対照的に訓練された視覚言語モデルは、共同画像テキスト表現の学習において顕著な進歩を遂げてきたが、それでも構成的理解の課題に直面している。 それらはしばしば"bag-of-words"の振る舞いを示し、オブジェクトの関係、属性オブジェクトのバインディング、および単語順序の依存関係をキャプチャするために強化する。 この制限は、最適化のためのグローバルな単一ベクトル表現への依存だけでなく、ペア化された画像テキストデータに本質的に存在するリッチな構成情報の不十分な活用とモデリングからも生じる。 本研究では,構成概念を一方のモーダルで隠蔽し,一方のコンテクスト情報に基づいて再構成するMACCO(MAsked Compositional Concept Modeling)を提案する。 このプロセスを容易にするために,2つの補助的目的を導入し,マスク付き特徴をモジュール間およびモジュール内の両方で協調的に調整・調整する。 提案手法は, VLMの構成性を著しく向上するだけでなく, 構文構造や言語情報を捉える能力も向上することを示した。 さらに、コンポジション性の向上は、テキスト・ツー・イメージ生成とマルチモーダルな大規模言語モデルにも効果がある。 コードはhttps://github.com/hiker-lw/MACCO.comで入手できる。

関連論文リスト

• Object-centric Binding in Contrastive Language-Image Pretraining [9.376583779399834]
  本稿では, 強陰性拡張の設計に依存した, 一般的な戦略から分岐する新しいアプローチを提案する。 本研究は,事前学習したCLIP様モデルに誘導バイアスを組み込むことにより,追加のハードネガティブを使わずに構成的理解を改善することに焦点を当てる。 得られたモデルは複雑なシーンのより正確でサンプル効率の良い画像テキストマッチングへの道を開く。
  論文  参考訳（メタデータ） (2025-02-19T21:30:51Z)
• Causal Graphical Models for Vision-Language Compositional Understanding [36.24185263818946]
  提案手法は, 最先端の合成手法を大きなマージンで大幅に上回っていることを示す。 さらに、はるかに大きなデータセットを使用してトレーニングされたメソッドよりも改善されている。
  論文  参考訳（メタデータ） (2024-12-12T15:22:03Z)
• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• InternLM-XComposer: A Vision-Language Large Model for Advanced Text-image Comprehension and Composition [111.65584066987036]
  InternLM-XComposerは、高度な画像テキストの理解と合成を可能にする視覚言語による大規模モデルである。 シームレスに画像を統合するコヒーレントでコンテキスト的な記事を生成することができる。 画像がコンテンツを強化するテキスト内の領域をインテリジェントに識別し、最も適切な視覚的候補を自動的に挿入する。
  論文  参考訳（メタデータ） (2023-09-26T17:58:20Z)
• Coarse-to-Fine Contrastive Learning in Image-Text-Graph Space for Improved Vision-Language Compositionality [50.48859793121308]
  対照的に訓練された視覚言語モデルは、視覚と言語表現学習において顕著な進歩を遂げた。 近年の研究では、対象、属性、関係性に対して構成的推論を行う能力に厳しい制限が強調されている。
  論文  参考訳（メタデータ） (2023-05-23T08:28:38Z)
• Decomposed Soft Prompt Guided Fusion Enhancing for Compositional Zero-Shot Learning [15.406125901927004]
  本稿では、視覚言語モデル(VLM)を組み込んで、不明瞭な合成認識を実現することによって、DFSP(Decomposed Fusion with Soft Prompt)1という新しいフレームワークを提案する。 具体的には、DFSPは学習可能なソフトプロンプトと状態とオブジェクトのベクトル結合を構築し、それらの結合表現を確立する。 さらに、言語とイメージブランチの間にクロスモーダル融合モジュールが設計されており、画像の特徴ではなく、言語機能間で状態とオブジェクトを分解する。
  論文  参考訳（メタデータ） (2022-11-19T12:29:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。