論文の概要: StruXLIP: Enhancing Vision-language Models with Multimodal Structural Cues

• arxiv url: http://arxiv.org/abs/2602.20089v2
• Date: Wed, 25 Feb 2026 20:36:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 14:31:23.843448
• Title: StruXLIP: Enhancing Vision-language Models with Multimodal Structural Cues
• Title（参考訳）: StruXLIP:マルチモーダル構造キューによる視覚言語モデルの強化
• Abstract要約: 画像の視覚構造のためのプロキシとしてエッジマップを抽出する微調整アライメントパラダイムであるStruXLIPを紹介する。 微調整は3つの構造中心の損失で標準アライメント損失を増大させる。 提案手法は, 今後のアプローチに統合可能な, 一般的なブースティングレシピとして機能する。
• 参考スコア（独自算出の注目度）: 12.94672471629668
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Edge-based representations are fundamental cues for visual understanding, a principle rooted in early vision research and still central today. We extend this principle to vision-language alignment, showing that isolating and aligning structural cues across modalities can greatly benefit fine-tuning on long, detail-rich captions, with a specific focus on improving cross-modal retrieval. We introduce StruXLIP, a fine-tuning alignment paradigm that extracts edge maps (e.g., Canny), treating them as proxies for the visual structure of an image, and filters the corresponding captions to emphasize structural cues, making them "structure-centric". Fine-tuning augments the standard alignment loss with three structure-centric losses: (i) aligning edge maps with structural text, (ii) matching local edge regions to textual chunks, and (iii) connecting edge maps to color images to prevent representation drift. From a theoretical standpoint, while standard CLIP maximizes the mutual information between visual and textual embeddings, StruXLIP additionally maximizes the mutual information between multimodal structural representations. This auxiliary optimization is intrinsically harder, guiding the model toward more robust and semantically stable minima, enhancing vision-language alignment. Beyond outperforming current competitors on cross-modal retrieval in both general and specialized domains, our method serves as a general boosting recipe that can be integrated into future approaches in a plug-and-play manner. Code and pretrained models are publicly available at: https://github.com/intelligolabs/StruXLIP.
• Abstract（参考訳）: エッジベースの表現は視覚的理解の基本的な手がかりであり、初期の視覚研究に根ざした原理であり、現在でも中心となっている。 我々は、この原理を視覚言語アライメントに拡張し、モダリティをまたいだ構造的手がかりの分離と整列は、長い詳細なキャプションの微調整に大いに役立ち、クロスモーダル検索の改善に特に重点を置いていることを示す。 エッジマップ(例えば、Canny)を抽出し、それらを画像の視覚構造のためのプロキシとして扱い、対応するキャプションをフィルタリングして構造的手がかりを強調する、微調整アライメントパラダイムであるStruXLIPを導入し、それらを「構造中心」にする。 ファインチューニングは、3つの構造中心の損失で標準アライメント損失を増大させる。 (i)エッジマップと構造テキストの整合 (二)ローカルエッジ領域とテキストチャンクとのマッチング、 三 エッジマップとカラー画像との接続により、表現の漂流を防止すること。 理論的な観点から、標準のCLIPは視覚とテキストの埋め込みの相互情報を最大化するが、StruXLIPはマルチモーダル構造表現間の相互情報を最大化する。 この補助最適化は本質的に困難であり、より堅牢でセマンティックに安定なミニマに向けてモデルを誘導し、視覚言語アライメントを向上させる。 汎用ドメインと専門ドメインのクロスモーダル検索において、現在の競合相手よりも優れていますが、プラグイン・アンド・プレイ方式で将来のアプローチに統合可能な、一般的な強化レシピとして機能します。 コードと事前訓練されたモデルは、https://github.com/intelligolabs/StruXLIPで公開されている。

関連論文リスト

• Learning Deep Modality-Shared Self-Expressiveness for Image Clustering with Textual Information [10.086588302174263]
  我々は、DeepMORSE(DeepMORSE)と呼ばれる原理的アプローチを提案する。 DeepMORSEは、モダリティ共有自己表現モデルを通じて、クロスモーダル構造を発見し、同時にモダリティ固有の部分空間の結合に対応する構造化表現を学習する。 広く使用されている6つの画像クラスタリングベンチマークでDeepMORSEを評価し、3%を超えるパフォーマンス改善を観察した。
  論文  参考訳（メタデータ） (2026-08-09T02:23:49Z)
• Learning Structural Latent Points for Efficient Visual Representations in Robotic Manipulation [28.481044299307346]
  暗黙の表現は明示的な構造的手がかりを欠くが、明示的な表現は幾何を保存するが、分解限界と弱一般化に苦しむ。 本稿では,ハイブリッドな表現-構造的潜在点を学習する新しい事前学習フレームワークを提案する。 結果として生じるコンパクト潜水剤は粗い構造的傾向を保ち、正確な幾何学を符号化するのではなく、よりリッチな粗い形状と意味情報をキャプチャする。
  論文  参考訳（メタデータ） (2026-05-20T14:48:01Z)
• Semantic Generative Tuning for Unified Multimodal Models [62.18894352635965]
  統一マルチモーダルモデル(UMM)は、単一のアーキテクチャ内で視覚的理解と視覚的生成を統合する。 訓練パラダイムは 独立して テキスト信号を通して 理解を最適化する 密集したピクセルの目的を通して 生成する 本研究は,UMMの分離を橋渡しするための生成プロキシとして階層的視覚タスクを定式化する,生成後学習に関する最初の体系的な研究である。
  論文  参考訳（メタデータ） (2026-05-18T17:46:46Z)
• Topology-Aware Representation Alignment for Semi-Supervised Vision-Language Learning [12.074231630572067]
  視覚言語学習のためのトポロジ対応マルチモーダル表現アライメント(ToMA)を提案する。 ToMAは、有能なエッジを識別し、利用可能なクロスモーダル通信を通じてモダリティを横断してアライメントする。 実験により、ToMAは、リモートセンシングの改善とファッション検索における一貫した利点により、安定した利得が得られることが示された。
  論文  参考訳（メタデータ） (2026-04-29T07:30:33Z)
• dinov3.seg: Open-Vocabulary Semantic Segmentation with DINOv3 [36.6036728217708]
  Open-Vocabulary Semantics (OVSS)は、テキスト定義カテゴリのオープンセットからピクセルレベルのラベルを割り当て、推論時に見えないクラスに信頼性の高い一般化を要求する。 我々は dinov3.seg を導入し、 dinov3.txt を OVSS 専用のフレームワークに拡張した。 まず、このバックボーンに合わせたタスク固有のアーキテクチャを設計し、従来のオープン語彙セグメンテーション作業から確立した設計原則を体系的に適用する。 第2に、VTベースのエンコーダのグローバルトークンとローカルパッチレベルのビジュアル特徴の両方に整合したテキスト埋め込みを共同で活用する。
  論文  参考訳（メタデータ） (2026-03-19T23:57:28Z)
• StructAlign: Structured Cross-Modal Alignment for Continual Text-to-Video Retrieval [75.28673512571449]
  Continual Text-to-Video Retrievalの重要な課題はフィーチャードリフトだ。 我々はCTVRのための構造化クロスモーダルアライメント手法であるStructAlignを提案する。 我々の手法は、常に最先端の連続検索手法より優れています。
  論文  参考訳（メタデータ） (2026-01-28T13:34:44Z)
• MulCLIP: A Multi-level Alignment Framework for Enhancing Fine-grained Long-context CLIP [4.6096940605642915]
  MulCLIPは、画像コンポーネントで自然な長文構造をブリッジするエンドツーエンドフレームワークである。 画像と要約と長いキャプションの間には、グローバルなコントラストの一致が保たれている。 長いテキストシーケンスに対して位置埋め込みを拡張する。
  論文  参考訳（メタデータ） (2025-12-08T03:23:41Z)
• Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception [71.26728044621458]
  DeCLIPは、CLIPを強化する新しいフレームワークで、自己認識モジュールを分離して、それぞれコンテンツ’と“コンテキスト’の機能を取得する。 2D検出とセグメンテーション、3Dインスタンスのセグメンテーション、ビデオインスタンスのセグメンテーション、6Dオブジェクトのポーズ推定など、幅広いタスクにわたる最先端のパフォーマンスを一貫して達成する。
  論文  参考訳（メタデータ） (2025-08-15T06:43:51Z)
• SmartCLIP: Modular Vision-language Alignment with Identification Guarantees [59.16312652369709]
  Contrastive Language-Image Pre-Traiing (CLIP)citepradford2021 Learningは、コンピュータビジョンとマルチモーダル学習において重要なモデルとして登場した。 CLIPは、多くの画像テキストデータセットにおける潜在的な情報ミスアライメントに苦労し、絡み合った表現に悩まされている。 モジュラー方式で、最も関連性の高い視覚的およびテキスト的表現を特定し、調整する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-07-29T22:26:20Z)
• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model [55.321010757641524]
  CLIP4STRは,CLIPのイメージエンコーダとテキストエンコーダ上に構築された,シンプルで効果的なSTRメソッドである。 モデルサイズ、事前トレーニングデータ、トレーニングデータの観点からCLIP4STRをスケールし、13のSTRベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-23T12:51:20Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Structured Multi-modal Feature Embedding and Alignment for Image-Sentence Retrieval [12.050958976545914]
  現在の最先端画像文検索手法は、視覚的テクスチャの断片を暗黙的に整列させる。 画像文検索のための構造的マルチモーダル特徴埋め込みとアライメントモデルを提案する。 特に、ビジュアルコンテキスト対応構造化木エンコーダ(VCS-Tree)とテキストコンテキスト対応構造化木エンコーダ(TCS-Tree)を共有ラベルで構築することにより、視覚的およびテキスト的フラグメントの関係をモデル化する。
  論文  参考訳（メタデータ） (2021-08-05T07:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。