論文の概要: Enhancing Modality Representation and Alignment for Multimodal Cold-start Active Learning

• arxiv url: http://arxiv.org/abs/2412.09126v1
• Date: Thu, 12 Dec 2024 10:03:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 17:02:05.519947
• Title: Enhancing Modality Representation and Alignment for Multimodal Cold-start Active Learning
• Title（参考訳）: マルチモーダルコールドスタートアクティブラーニングのためのモダリティ表現とアライメントの強化
• Authors: Meng Shen, Yake Wei, Jianxiong Yin, Deepu Rajan, Di Hu, Simon See,
• Abstract要約: MMCSAL(Multi-Modal Cold-Start Active Learning)のための2段階の手法を開発した。 まず、モーダル間のペアリング情報のみを自己超越信号として用いる場合、異なるモーダルからの表現のセントロイド間の有意な距離であるモダリティギャップを観測する。 次に、正規化によるクロスモーダルアライメントの強化を提案し、MMCSALにおける選択したマルチモーダルデータペアの品質を向上させる。
• 参考スコア（独自算出の注目度）: 17.954883799795155
• License:
• Abstract: Training multimodal models requires a large amount of labeled data. Active learning (AL) aim to reduce labeling costs. Most AL methods employ warm-start approaches, which rely on sufficient labeled data to train a well-calibrated model that can assess the uncertainty and diversity of unlabeled data. However, when assembling a dataset, labeled data are often scarce initially, leading to a cold-start problem. Additionally, most AL methods seldom address multimodal data, highlighting a research gap in this field. Our research addresses these issues by developing a two-stage method for Multi-Modal Cold-Start Active Learning (MMCSAL). Firstly, we observe the modality gap, a significant distance between the centroids of representations from different modalities, when only using cross-modal pairing information as self-supervision signals. This modality gap affects data selection process, as we calculate both uni-modal and cross-modal distances. To address this, we introduce uni-modal prototypes to bridge the modality gap. Secondly, conventional AL methods often falter in multimodal scenarios where alignment between modalities is overlooked. Therefore, we propose enhancing cross-modal alignment through regularization, thereby improving the quality of selected multimodal data pairs in AL. Finally, our experiments demonstrate MMCSAL's efficacy in selecting multimodal data pairs across three multimodal datasets.
• Abstract（参考訳）: マルチモーダルモデルのトレーニングには大量のラベル付きデータが必要である。 アクティブラーニング(AL)はラベリングコストを削減することを目的としている。 ほとんどのALメソッドは、ラベル付きデータの不確実性や多様性を評価するための十分なラベル付きモデルをトレーニングするために、十分なラベル付きデータに依存するウォームスタートアプローチを採用している。 しかしながら、データセットを組み立てる場合、ラベル付きデータは最初は不足することが多く、コールドスタートの問題が発生する。 さらに、ほとんどのALメソッドはマルチモーダルデータにはほとんど対応せず、この分野における研究のギャップを浮き彫りにしている。 本研究は,Multi-Modal Cold-Start Active Learning (MMCSAL) のための2段階の手法を開発することで,これらの課題に対処する。 まず、モーダル間のペアリング情報のみを自己超越信号として用いる場合、異なるモーダルから表現のセントロイド間の有意な距離であるモダリティギャップを観測する。 このモダリティギャップは、ユニモーダル距離とクロスモーダル距離の両方を計算することにより、データ選択プロセスに影響を与える。 これを解決するために、モダリティギャップを橋渡しするユニモーダルプロトタイプを導入する。 第二に、従来のALメソッドは、モダリティ間のアライメントが見過ごされるマルチモーダルシナリオでしばしばフェールする。 そこで我々は、正規化によるクロスモーダルアライメントの強化を提案し、ALにおける選択したマルチモーダルデータペアの品質を向上させる。 最後に、3つのマルチモーダルデータセット間でのマルチモーダルデータペアの選択におけるMMCSALの有効性を示す。

関連論文リスト

• MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching [54.740256498985026]
  キーポイントの検出と記述方法は、しばしばマルチモーダルデータと競合する。 マルチモーダル画像マッチングにおけるキーポイント記述に対するモダリティ不変特徴量を計算するためのモダリティ不変特徴量学習ネットワーク(MIFNet)を提案する。
  論文  参考訳（メタデータ） (2025-01-20T06:56:30Z)
• MINIMA: Modality Invariant Image Matching [52.505282811925454]
  複数のクロスモーダルケースを対象とした統合画像マッチングフレームワークであるMINIMAを提案する。 生成モデルを用いて、安価だがリッチなRGBのみのマッチングデータからモダリティをスケールアップする。 MD-synでは、任意の高度なマッチングパイプラインをランダムに選択したモダリティペアで直接訓練して、クロスモーダル能力を得ることができる。
  論文  参考訳（メタデータ） (2024-12-27T02:39:50Z)
• Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
  本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。 本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。 以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:09:38Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• SUMMIT: Source-Free Adaptation of Uni-Modal Models to Multi-Modal Targets [30.262094419776208]
  現在のアプローチでは、ソースデータが適応中に利用可能であり、ソースはペア化されたマルチモーダルデータで構成されていると仮定している。 本稿では,2つの相補的な擬似ラベル融合法を自動選択するスイッチングフレームワークを提案する。 提案手法は,mIoUが競合するベースラインよりも最大12%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-23T02:57:58Z)
• Read, Look or Listen? What's Needed for Solving a Multimodal Dataset [7.0430001782867]
  マルチモーダル・データセットを解析するための2段階の手法を提案する。これは、人間のアノテーションの小さなシードを利用して、各マルチモーダル・インスタンスをその処理に必要なモダリティにマッピングする。 ビデオ質問応答データセットであるTVQAに我々のアプローチを適用し、ほとんどの質問が特定のモダリティに対して実質的な偏見を伴わずに単一のモダリティで答えられることを発見した。 我々は、MERLOT Reserveを分析し、テキストや音声よりも画像に基づく質問に苦しむが、聴覚話者の識別にも苦しむことを発見した。
  論文  参考訳（メタデータ） (2023-07-06T08:02:45Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation [16.308470947384134]
  HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。 我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。 一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2023-03-27T07:07:33Z)
• Few-shot Multimodal Sentiment Analysis based on Multimodal Probabilistic Fusion Prompts [30.15646658460899]
  ソーシャルメディア上でのマルチモーダルコンテンツの普及により,マルチモーダル感情分析が注目されている。 この地域の既存の研究は、大規模に監督されたデータに大きく依存している。 マルチモーダルな感情検出のために,様々なモーダルから多様な手がかりを生かしたマルチモーダル確率核融合法(MultiPoint)を提案する。
  論文  参考訳（メタデータ） (2022-11-12T08:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。