論文の概要: Synergy-CLIP: Extending CLIP with Multi-modal Integration for Robust Representation Learning

• arxiv url: http://arxiv.org/abs/2504.21375v1
• Date: Wed, 30 Apr 2025 07:14:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 22:06:06.951864
• Title: Synergy-CLIP: Extending CLIP with Multi-modal Integration for Robust Representation Learning
• Title（参考訳）: Synergy-CLIP:ロバスト表現学習のためのマルチモーダル統合によるCLIPの拡張
• Authors: Sangyeon Cho, Jangyeong Jeon, Mingi Kim, Junyeong Kim,
• Abstract要約: マルチモーダル表現学習を強化するために,コントラスト言語イメージ事前学習(CLIP)アーキテクチャを拡張するフレームワークであるSynergy-CLIPを提案する。 個々のモダリティをバニラCLIPに適応することに集中する既存の方法とは異なり、Synergy-CLIPは3つのモダリティにまたがる潜伏情報を等しく整列してキャプチャする。 VGG-sound+は、視覚、テキスト、音声データの等スケール表現を提供するために設計された3つのモーダルデータセットである。
• 参考スコア（独自算出の注目度）: 2.56061946132533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-modal representation learning has become a pivotal area in artificial intelligence, enabling the integration of diverse modalities such as vision, text, and audio to solve complex problems. However, existing approaches predominantly focus on bimodal interactions, such as image-text pairs, which limits their ability to fully exploit the richness of multi-modal data. Furthermore, the integration of modalities in equal-scale environments remains underexplored due to the challenges of constructing large-scale, balanced datasets. In this study, we propose Synergy-CLIP, a novel framework that extends the contrastive language-image pre-training (CLIP) architecture to enhance multi-modal representation learning by integrating visual, textual, and audio modalities. Unlike existing methods that focus on adapting individual modalities to vanilla-CLIP, Synergy-CLIP aligns and captures latent information across three modalities equally. To address the high cost of constructing large-scale multi-modal datasets, we introduce VGG-sound+, a triple-modal dataset designed to provide equal-scale representation of visual, textual, and audio data. Synergy-CLIP is validated on various downstream tasks, including zero-shot classification, where it outperforms existing baselines. Additionally, we introduce a missing modality reconstruction task, demonstrating Synergy-CLIP's ability to extract synergy among modalities in realistic application scenarios. These contributions provide a robust foundation for advancing multi-modal representation learning and exploring new research directions.
• Abstract（参考訳）: マルチモーダル表現学習は人工知能において重要な領域となり、複雑な問題を解決するために視覚、テキスト、オーディオなどの様々なモダリティを統合することができる。 しかし、既存のアプローチは、画像とテキストのペアのようなバイモーダルな相互作用に主に焦点を合わせ、マルチモーダルデータのリッチさを完全に活用する能力を制限する。 さらに、大規模でバランスの取れたデータセットを構築することの難しさから、同規模の環境におけるモダリティの統合はいまだ検討されていない。 本研究では,視覚・テキスト・音声モダリティを統合することで,マルチモーダル表現学習を強化するために,コントラッシブ言語イメージ事前学習(CLIP)アーキテクチャを拡張した新しいフレームワークであるSynergy-CLIPを提案する。 個々のモダリティをバニラCLIPに適応することに集中する既存の方法とは異なり、Synergy-CLIPは3つのモダリティにまたがる潜伏情報を等しく整列してキャプチャする。 大規模マルチモーダルデータセットの構築に高コストで取り組むために,視覚,テキスト,音声データの等スケール表現を提供するために設計された3つのモーダルデータセットであるVGG-sound+を導入する。 Synergy-CLIPは、ゼロショット分類を含む様々な下流タスクで検証され、既存のベースラインを上回っている。 さらに、現実的なアプリケーションシナリオにおいて、モダリティ間の相乗効果を抽出するSynergy-CLIPの能力を示す。 これらの貢献は、マルチモーダル表現学習を推進し、新しい研究方向性を探求するための堅牢な基盤を提供する。

関連論文リスト

• A-MESS: Anchor based Multimodal Embedding with Semantic Synchronization for Multimodal Intent Recognition [3.4568313440884837]
  セマンティックシンクロナイゼーション(A-MESS)フレームワークを用いたアンカーベースのマルチモーダル埋め込みを提案する。 まず、アンカーベースの埋め込み融合機構を用いてマルチモーダル入力を統合するアンカーベースのマルチモーダル埋め込み(A-ME)モジュールを設計する。 我々は,マルチモーダル表現とラベル記述を同期させることにより,プロセスの最適化を行う,Triplet Contrastive Learning Pipelineを用いたセマンティックシンクロナイゼーション(SS)戦略を開発した。
  論文  参考訳（メタデータ） (2025-03-25T09:09:30Z)
• Lyra: An Efficient and Speech-Centric Framework for Omni-Cognition [57.131546757903834]
  Lyraはマルチモーダル能力を向上する効率的なMLLMであり、高度な長音声理解、音声理解、相互モダリティ効率、シームレスな音声対話などが含まれる。 Lyraは様々な視覚言語、視覚音声、音声言語のベンチマークで最先端のパフォーマンスを達成し、計算資源が少なく、訓練データも少ない。
  論文  参考訳（メタデータ） (2024-12-12T17:50:39Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Learning Multimodal Data Augmentation in Feature Space [65.54623807628536]
  LeMDAは、機能空間におけるマルチモーダルデータを共同で拡張することを自動的に学習する、使い易い方法である。 我々はLeMDAがマルチモーダルディープラーニングアーキテクチャの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:39:36Z)
• Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis [19.07020276666615]
  本稿では,マルチモーダル表現のためのMMCL(MultiModal Contrastive Learning)というフレームワークを提案する。 また、予測のプロセスを促進し、感情に関連するよりインタラクティブな情報を学ぶために、事例ベースと感情ベースのコントラスト学習という2つのコントラスト学習タスクを設計する。
  論文  参考訳（メタデータ） (2022-10-26T08:24:15Z)
• i-Code: An Integrative and Composable Multimodal Learning Framework [99.56065789066027]
  i-Codeは、視覚、音声、言語を統一的で汎用的なベクトル表現に柔軟に組み合わせられる自己教師型事前学習フレームワークである。 システム全体は、マスク付きモダリティ・ユニット・モデリングやクロスモダリティ・コントラスト・ラーニングなどの新しい目的により、エンドツーエンドで事前訓練されている。 実験の結果、i-Codeは5つのビデオ理解タスクとGLUE NLPベンチマークで最先端技術を上回る性能を示し、最大11%改善した。
  論文  参考訳（メタデータ） (2022-05-03T23:38:50Z)
• Knowledge Perceived Multi-modal Pretraining in E-commerce [12.012793707741562]
  画像とテキストのモダリティに対する現在のマルチモーダル事前学習法は、モダリティの欠如やモダリティノイズに直面して頑健さを欠いている。 我々は,マルチモーダル事前学習における知識モダリティを導入し,ノイズを補正し,画像とテキストのモダリティの欠如を補うK3Mを提案する。
  論文  参考訳（メタデータ） (2021-08-20T08:01:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。