論文の概要: Modality Curation: Building Universal Embeddings for Advanced Multimodal Information Retrieval

• arxiv url: http://arxiv.org/abs/2505.19650v2
• Date: Tue, 27 May 2025 11:57:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:20.245654
• Title: Modality Curation: Building Universal Embeddings for Advanced Multimodal Information Retrieval
• Title（参考訳）: Modality Curation: 高度マルチモーダル情報検索のためのユニバーサル埋め込みの構築
• Authors: Fanheng Kong, Jingyuan Zhang, Yahui Liu, Hongzhi Zhang, Shi Feng, Xiaocui Yang, Daling Wang, Yu Tian, Victoria W., Fuzheng Zhang, Guorui Zhou,
• Abstract要約: データキュレーションやモダリティ対応のトレーニング設定を通じて課題に取り組む普遍的なフレームワークであるUNITEを紹介する。 我々の研究は、モダリティ固有のデータプロパティがダウンストリームタスクのパフォーマンスにどのように影響するかを、初めて包括的に分析する。 提案フレームワークは,複数のマルチモーダル検索ベンチマークにおいて最先端の結果を達成し,既存の手法を顕著なマージンで上回っている。
• 参考スコア（独自算出の注目度）: 30.98084422803278
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal information retrieval (MIR) faces inherent challenges due to the heterogeneity of data sources and the complexity of cross-modal alignment. While previous studies have identified modal gaps in feature spaces, a systematic approach to address these challenges remains unexplored. In this work, we introduce UNITE, a universal framework that tackles these challenges through two critical yet underexplored aspects: data curation and modality-aware training configurations. Our work provides the first comprehensive analysis of how modality-specific data properties influence downstream task performance across diverse scenarios. Moreover, we propose Modal-Aware Masked Contrastive Learning (MAMCL) to mitigate the competitive relationships among the instances of different modalities. Our framework achieves state-of-the-art results on multiple multimodal retrieval benchmarks, outperforming existing methods by notable margins. Through extensive experiments, we demonstrate that strategic modality curation and tailored training protocols are pivotal for robust cross-modal representation learning. This work not only advances MIR performance but also provides a foundational blueprint for future research in multimodal systems. Our project is available at https://friedrichor.github.io/projects/UNITE.
• Abstract（参考訳）: マルチモーダル情報検索(MIR)は、データソースの不均一性と、相互モーダルアライメントの複雑さにより、固有の課題に直面している。 以前の研究では、特徴空間におけるモーダルギャップが特定されているが、これらの課題に対処するための体系的なアプローチは未解明のままである。 本研究では、データキュレーションとモダリティを考慮したトレーニング構成という、2つの重要かつ未解明の側面を通じて、これらの課題に対処する普遍的なフレームワークであるUNITEを紹介する。 我々の研究は、様々なシナリオにおいて、モダリティ固有のデータプロパティがダウンストリームタスクのパフォーマンスにどのように影響するかを、初めて包括的に分析する。 さらに,モーダル・アウェア・マスケッド・コントラシブ・ラーニング(MAMCL)を提案する。 提案フレームワークは,複数のマルチモーダル検索ベンチマークにおける最先端の成果を達成し,既存の手法を顕著なマージンで上回っている。 広範にわたる実験を通して、戦略的モダリティのキュレーションと調整されたトレーニングプロトコルが、堅牢なクロスモーダル表現学習の鍵となることを実証する。 この研究は、MIRの性能を向上するだけでなく、将来のマルチモーダルシステム研究の基盤となる青写真も提供する。 私たちのプロジェクトはhttps://friedrichor.github.io/projects/UNITEで利用可能です。

関連論文リスト

• PAL: Prompting Analytic Learning with Missing Modality for Multi-Modal Class-Incremental Learning [42.00851701431368]
  マルチモーダルクラスインクリメンタルラーニング(MMCIL)は、音声と視覚、画像とテキストのペアのようなマルチモーダルデータを活用する。 重要な課題は、漸進的な学習フェーズにおけるモダリティの欠如である。 PALは, MMCILに適合した, モダリティの欠如を前提とした, 斬新なフレームワークである。
  論文  参考訳（メタデータ） (2025-01-16T08:04:04Z)
• Towards Modality Generalization: A Benchmark and Prospective Analysis [56.84045461854789]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
  本稿では,ラベル付きデータに頼らず,複数のモードにまたがるインスタンスの認識を目的としたクロスモーダルなFew-Shot Learningタスクを提案する。 本研究では,人間が概念を抽象化し,一般化する方法をシミュレートし,ジェネレーティブトランスファー学習フレームワークを提案する。 GTLは、RGB-Sketch、RGB-赤外線、RGB-Depthの7つのマルチモーダルデータセットにまたがる最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-14T16:09:38Z)
• Borrowing Treasures from Neighbors: In-Context Learning for Multimodal Learning with Missing Modalities and Data Scarcity [9.811378971225727]
  本稿では、欠落したモダリティに関する現在の研究を低データ体制に拡張する。 フルモダリティデータと十分なアノテートされたトレーニングサンプルを取得することは、しばしばコストがかかる。 本稿では,この2つの重要な問題に対処するために,検索強化したテキスト内学習を提案する。
  論文  参考訳（メタデータ） (2024-03-14T14:19:48Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。