論文の概要: CovMatch: Cross-Covariance Guided Multimodal Dataset Distillation with Trainable Text Encoder

• arxiv url: http://arxiv.org/abs/2510.18583v1
• Date: Tue, 21 Oct 2025 12:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.524645
• Title: CovMatch: Cross-Covariance Guided Multimodal Dataset Distillation with Trainable Text Encoder
• Title（参考訳）: CovMatch: トレーニング可能なテキストエンコーダによる相互共分散ガイドによるマルチモーダルデータセット蒸留
• Authors: Yongmin Lee, Hye Won Chung,
• Abstract要約: マルチモーダルデータセット蒸留は、視覚言語モデルの効率的なトレーニングを可能にする、画像とテキストのペアの小さなセットを合成することを目的としている。 実特徴と合成特徴の相互共分散を整合させるスケーラブルなデータセット蒸留フレームワークであるCovMatchを提案する。 CovMatchは、500組の合成ペアのみを使用して、検索精度が最大6.8%向上する。
• 参考スコア（独自算出の注目度）: 20.769172070951075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal dataset distillation aims to synthesize a small set of image-text pairs that enables efficient training of large-scale vision-language models. While dataset distillation has shown promise in unimodal tasks, extending it to multimodal contrastive learning presents key challenges: learning cross-modal alignment and managing the high computational cost of large encoders. Prior approaches address scalability by freezing the text encoder and update only the image encoder and text projection layer. However, we find this severely limits semantic alignment and becomes a bottleneck for performance scaling. We propose CovMatch, a scalable dataset distillation framework that aligns the cross-covariance of real and synthetic features while regularizing feature distributions within each modality. Unlike prior approaches, CovMatch enables joint optimization of both encoders, leading to stronger cross-modal alignment and improved performance. Evaluated on Flickr30K and COCO, CovMatch outperforms state-of-the-art multimodal distillation methods and achieves up to 6.8% absolute gains in retrieval accuracy using only 500 synthetic pairs.
• Abstract（参考訳）: マルチモーダルデータセット蒸留は、大規模視覚言語モデルの効率的なトレーニングを可能にする、画像テキストペアの小さなセットを合成することを目的としている。 データセットの蒸留は、単調なタスクにおいて有望であるが、それをマルチモーダルなコントラスト学習に拡張することは、クロスモーダルなアライメントの学習や、大規模エンコーダの計算コストの高い管理といった重要な課題をもたらす。 以前のアプローチでは、テキストエンコーダを凍結し、イメージエンコーダとテキストプロジェクション層のみを更新することでスケーラビリティに対処していた。 しかし、これはセマンティックアライメントを著しく制限し、パフォーマンスのスケーリングのボトルネックになる。 本稿では,各モードにおける特徴分布を正規化しながら,実特徴と合成特徴の相互共分散を整合させる,スケーラブルなデータセット蒸留フレームワークであるCovMatchを提案する。 従来のアプローチとは異なり、CovMatchは両エンコーダのジョイント最適化を可能にし、より強力なクロスモーダルアライメントと性能改善を実現している。 Flickr30KとCOCOで評価され、CovMatchは最先端のマルチモーダル蒸留法より優れており、500組の合成ペアだけで最大6.8%の精度が得られる。

関連論文リスト

• METEOR: Multi-Encoder Collaborative Token Pruning for Efficient Vision Language Models [92.37117312251755]
  プログレッシブプルーニングフレームワークであるMulti-Encoder collaboraTivE tOken pRuning (METEOR)を提案する。 マルチビジョン符号化では,各エンコーダ内の冗長トークンをランク誘導型協調トークン代入戦略により破棄する。 マルチビジョン融合では、異なるエンコーダの視覚的特徴を組み合わせながら、コラボレーティブプルーニングによるクロスエンコーダ冗長性を低減させる。
  論文  参考訳（メタデータ） (2025-07-28T13:50:53Z)
• FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens [56.752362642658504]
  マルチモーダル埋め込みの代替アーキテクチャであるFuseLIPを提案する。 本稿では,テキストと画像トークンの拡張語彙で動作する単一のトランスフォーマーモデルを提案する。 本稿では,VQAやテキスト誘導画像変換検索などのマルチモーダル埋め込みタスクにおいて,FuseLIPが他の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-06-03T17:27:12Z)
• Harnessing Frozen Unimodal Encoders for Flexible Multimodal Alignment [16.733970553781887]
  最近の知見は、よく訓練された単調エンコーダのセマンティックな類似性が高いことを示唆している。 凍結したユニモーダルエンコーダを用いて視覚と言語を協調する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-28T17:57:32Z)
• Vision-Language Dataset Distillation [26.886260846439612]
  トラジェクトリマッチングのアイデアに基づいて,最初の視覚言語によるデータセット蒸留法を設計する。 重要な課題は、ビジョン言語データセットが独立したクラスのセットを持っていないことだ。 提案手法は, コントラスト式で画像とテキストのペアを共同蒸留する。
  論文  参考訳（メタデータ） (2023-08-15T03:22:40Z)
• Closed-Loop Transcription via Convolutional Sparse Coding [29.75613581643052]
  オートエンコーダはしばしばエンコーダやデコーダとして汎用的なディープネットワークを使用するが、解釈が難しい。 本研究では,多段畳み込みスパース符号化(CSC)から画像分布が生成されることを明示的に仮定する。 提案手法は, より構造化され, 解釈可能な表現, より安定した収束, 大規模データセットのスケーラビリティなど, 様々なメリットを享受する。
  論文  参考訳（メタデータ） (2023-02-18T14:40:07Z)
• Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis [52.41439725865149]
  クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。 既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。 マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T11:40:40Z)
• MUSTER: A Multi-scale Transformer-based Decoder for Semantic Segmentation [19.83103856355554]
  MUSTERはトランスフォーマーベースのデコーダで、階層エンコーダとシームレスに統合される。 MSKAユニットはエンコーダとデコーダからのマルチスケール機能の融合を可能にし、包括的な情報統合を容易にする。 ADE20Kデータセットでは,50.23の単一スケールmIoUと51.88のマルチスケールmIoUを達成する。
  論文  参考訳（メタデータ） (2022-11-25T06:51:07Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)
• Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers [115.90778814368703]
  目的は,大規模画像とビデオデータセットの言語検索である。 このタスクでは、独立してテキストとビジョンを共同埋め込み空間 a.k.a にマッピングする。 デュアルエンコーダは 検索スケールとして魅力的です 視覚テキスト変換器をクロスアテンションで使用する別のアプローチは、関節埋め込みよりも精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-03-30T17:57:08Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。