論文の概要: CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning

• arxiv url: http://arxiv.org/abs/2609.08242v1
• Date: Tue, 08 Sep 2026 04:37:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.578708
• Title: CS-CLIP: Compositional Scene Graph-guided CLIP for Robust Compositional Reasoning
• Title（参考訳）: CS-CLIP:ロバストな合成推論のための合成シーングラフ誘導CLIP
• Abstract要約: 視覚言語モデル(VLM)は、構成的推論ベンチマークにおいて強い性能を示す。 既存の構成性に配慮したVLMは、要素特異的なバイアスを示し、しばしば特定の構成要素上でバニラCLIPを過小評価する。 本研究では、シーングラフを用いて構成要素を識別し、選択マスキングにより構造負を構成する合成シーングラフ誘導CLIP(CS-CLIP)を提案する。
• 参考スコア（独自算出の注目度）: 16.760639344669386
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-language models (VLMs) demonstrate strong performance across compositional reasoning benchmarks, which require reasoning over semantic perturbations of objects, attributes, relations, and their interactions. However, our controlled analysis reveals that existing compositionality-aware VLMs exhibit element-specific biases, often underperforming vanilla CLIP on certain compositional elements. To address this, we propose Compositional Scene Graph-guided CLIP (CS-CLIP), which uses scene graphs to identify compositional elements and construct structured negatives via selective masking. We further retain negatives that are most contradictory to the original caption, forcing the model to rely on compositional structure rather than surface cues. CS-CLIP achieves state-of-the-art compositional reasoning with robust performance across compositional elements. It also preserves general vision-language capabilities such as cross-modal retrieval and downstream visual reasoning, while requiring fewer training samples than prior methods.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、オブジェクト、属性、関係、およびそれらの相互作用のセマンティック摂動に対する推論を必要とする構成的推論ベンチマークにおいて、強い性能を示す。 しかし, 既存の構成性に配慮したVLMは, 構成要素に対してバニラCLIPを過小評価し, 要素特性に偏りがあることが示唆された。 これを解決するために,シーングラフを用いて構成要素を識別し,選択マスキングにより構造負を構成するCS-CLIP(Composeal Scene Graph-guided CLIP)を提案する。 さらに、原文のキャプションに最も矛盾する否定を保ち、モデルが表面の手がかりよりも構成構造に頼らざるを得なかった。 CS-CLIPは、構成要素間の堅牢な性能を持つ最先端の合成推論を実現する。 また、クロスモーダル検索や下流の視覚推論のような一般的な視覚言語機能を保ちつつ、以前の方法よりもトレーニングサンプルを少なくする。

関連論文リスト

• ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP [82.88378269290965]
  提案するReasonCLIP-58Mは,大規模推論監視をCLIPスタイルのモデルに組み込む連続事前学習フレームワークである。 我々は、ゼロショット検索性能を向上しつつ、視覚的に接地されたコモンセンスと合成推論を改善するReasonCLIPのファミリーを訓練する。
  論文  参考訳（メタデータ） (2026-06-25T09:27:54Z)
• Advancing Aesthetic Image Generation via Composition Transfer [57.624601729777986]
  Composerは、意味に依存しない方法で構成をモデル化するように設計されたフレームワークである。 参照画像からキー合成認識表現を抽出することにより、合成転送をサポートする。 また、大規模視覚言語モデルのコンテキスト内学習機能を活用することで、テーマ駆動型合成検索もサポートする。
  論文  参考訳（メタデータ） (2026-05-06T07:56:16Z)
• Structure-aware Prompt Adaptation from Seen to Unseen for Open-Vocabulary Compositional Zero-Shot Learning [86.58227205147546]
  合成ゼロショット学習(OV-CZSL)の目的は、オープン語彙設定において反復対象の合成を認識することである。 本研究では,SPA(Structure-Aware Prompt Adaptation)法を提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:54:28Z)
• Not Only Text: Exploring Compositionality of Visual Representations in Vision-Language Models [26.525531111141717]
  ビジョンランゲージモデルは、テキストと画像の共有機能空間を学習し、異なるモードの入力の比較を可能にする。 画像領域における構成性について検討し、合成特性の分析は視覚データのノイズと空間性によって挑戦される。 本稿では,GDE(Geodesically Decomposable Embeddings)と呼ばれるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-21T13:46:53Z)
• TripletCLIP: Improving Compositional Reasoning of CLIP via Synthetic Vision-Language Negatives [65.82577305915643]
  Contrastive Language-Image Pretraining (CLIP) モデルは、表現を学ぶためにテキストと視覚的モダリティ間の相互情報を最大化する。 そこで本研究では,テキスト・ツー・イメージ・ジェネレータを用いて,文脈内学習による「ハード」の負の字幕生成と,それに対応する負のイメージ生成が解となることを示す。 提案手法はTripletCLIPと呼ばれ,CLIPの構成能力を向上し,SugarCrepeベンチマークでは9%以上向上した。
  論文  参考訳（メタデータ） (2024-11-04T19:24:59Z)
• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• Graph-guided Cross-composition Feature Disentanglement for Compositional Zero-shot Learning [54.08741382593959]
  合成ゼロショット学習(CZSL)において、プリミティブ(属性とオブジェクト)の視覚的特徴の歪みは例外的な結果を示した。 異なる構成にまたがる一般的な非絡み合った原始的特徴を学ぶことは困難である。 本稿では,複数のプリミティブ共有合成を入力として利用するクロスコンポジション特徴分散の解を提案する。
  論文  参考訳（メタデータ） (2024-08-19T08:23:09Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• ComCLIP: Training-Free Compositional Image and Text Matching [19.373706257771673]
  コントラスト言語-画像事前訓練は画像とテキストのマッチングに優れたゼロショット性能を示した。 我々は新しいtextbftextittraining-free compositional CLIP model (ComCLIP) を提案する。 ComCLIPは、入力された画像を被写体、オブジェクト、アクションのサブイメージに切り離し、CLIPのビジョンエンコーダとテキストエンコーダを構成して、合成テキスト埋め込みとサブイメージ埋め込みに対する進化的なマッチングを実行する。
  論文  参考訳（メタデータ） (2022-11-25T01:37:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。