論文の概要: CL-DMDF:Dynamic Multimodal Data Fusion Model Based on Contrastive Learning

• arxiv url: http://arxiv.org/abs/2606.02659v1
• Date: Mon, 01 Jun 2026 07:12:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.49721
• Title: CL-DMDF:Dynamic Multimodal Data Fusion Model Based on Contrastive Learning
• Title（参考訳）: CL-DMDF:コントラスト学習に基づく動的マルチモーダルデータ融合モデル
• Abstract要約: コントラスト学習(CL-DMDF)に基づく動的マルチモーダルデータ融合モデルを提案する。 CL-DMDFは、信頼性の高い注意スコアを計算するために、特徴次元とモダリティ次元の両方で機能する新しい注意機構を導入している。 3つのデータセットで行った実験は、多様なマルチモーダル核融合タスクにおけるCL-DMDFの有効性を示した。
• 参考スコア（独自算出の注目度）: 9.12225899477751
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal data fusion involves integrating and analyzing information from multiple modalities to uncover latent correlations and complementary patterns, thereby enhancing data processing and decision-making. While existing methods for structured multimodal inputs are typically designed around specific tasks and assume fully observed modalities, real-world applications often suffer from uncertain or missing modality inputs due to various factors. Some traditional models overly emphasize local interactions within missing modalities, neglecting the global complementary cues embedded in multimodal representations. To overcome these limitations, we propose a Dynamic Multimodal Data Fusion model based on Contrastive Learning (CL-DMDF). CL-DMDF introduces a novel attention mechanism that operates across both feature and modality dimensions to compute reliable attention scores, effectively reflecting importance at each level. The CL-DMDF further incorporates an entity-centroid contrastive learning module that constructs centroid-based positive samples from entity features to enhance discriminative learning. Additionally, an adaptive fusion module is employed to improve the efficiency and accuracy of dynamic fusion strategies. Extensive experiments conducted on three datasets demonstrate the effectiveness of the CL-DMDF across diverse multimodal fusion tasks.
• Abstract（参考訳）: マルチモーダルデータ融合は、複数のモーダルからの情報を統合して分析することで、遅延相関や相補的なパターンを解明し、データ処理と意思決定を強化する。 構造化マルチモーダル入力の既存の方法は、通常特定のタスクを中心に設計され、完全に観察されたモダリティを仮定するが、現実のアプリケーションは様々な要因により不確実または欠落したモダリティ入力に悩まされることが多い。 伝統的なモデルは、欠落したモダリティ内の局所的相互作用を過度に強調し、マルチモーダル表現に埋め込まれた大域的な相補的手がかりを無視している。 このような制約を克服するために,コントラスト学習(CL-DMDF)に基づく動的マルチモーダルデータフュージョンモデルを提案する。 CL-DMDFは、各レベルにおける重要性を効果的に反映し、信頼性の高い注意スコアを計算するために、特徴次元とモダリティ次元の両方にわたって機能する新しい注意機構を導入している。 CL-DMDFはさらに、識別学習を強化するために、エンティティ特徴からセントロイドベースの正のサンプルを構築するエンティティセントロイドコントラスト学習モジュールを組み込んでいる。 さらに、動的核融合戦略の効率と精度を向上させるために適応核融合モジュールが使用される。 3つのデータセットで実施された大規模な実験は、多様なマルチモーダル核融合タスクにおけるCL-DMDFの有効性を示した。

関連論文リスト

• MODAL: Multi-Modal Object Re-ID via Model-Driven Sparse Decoupling and Text-Image Differential Filtering [51.99452481869329]
  MODALは、スパース符号理論と微分抑圧原理を組み合わせた、新しいマルチモーダルオブジェクト再識別フレームワークである。 MODALの中核となるコンポーネントは、モデル駆動のディープアンロール方式で開発されたマルチモーダル特徴スパースデカップリングモジュールである。 MODALは原則的な機能障害から恩恵を受け、不完全なモダリティシナリオにおけるパフォーマンス低下を自然に軽減します。 4つのデータセットの実験では、MODALが最先端のパフォーマンスを達成し、透明性が優れていることが示されている。
  論文  参考訳（メタデータ） (2026-08-15T07:41:10Z)
• Simultaneous Long-tailed Recognition and Multi-modal Fusion for Highly Imbalanced Multi-modal Data [9.797319790710711]
  クラス不均衡データの長期分布は、ディープラーニングモデルにとって根本的な課題である。 マルチモーダル入力を明示的に処理するロングテール認識のための新しいフレームワークを提案する。 提案手法は,異種データを統一表現に融合することにより,マルチエキスパートアーキテクチャをマルチモーダル設定に拡張する。
  論文  参考訳（メタデータ） (2026-05-11T12:56:53Z)
• AlignMamba-2: Enhancing Multimodal Fusion and Sentiment Analysis with Modality-Aware Mamba [56.52470564147458]
  マルチモーダル融合と感情分析のための効率的かつ効率的なフレームワークである textbfAlignMamba-2 を提案する。 提案手法では, 最適輸送距離と最大平均離散度の両方を用いてモデルを正規化する2つのアライメント戦略を導入する。 さらに重要なことは、モダリティに特有かつモダリティに偏ったエキスパートによるMixture-of-Expertsアーキテクチャを採用したModality-Aware Mamba層を設計することです。
  論文  参考訳（メタデータ） (2026-03-19T03:47:21Z)
• Reconstructing Content via Collaborative Attention to Improve Multimodal Embedding Quality [59.651410243721045]
  CoCoAは、マルチモーダル埋め込み最適化のための協調注意に基づくコンテンツ再構成事前学習パラダイムである。 EOSをベースとした再構築タスクを導入し、対応するEOS>埋め込みからの入力を再構成するようモデルに促す。 MMEB-V1の実験では、Qwen2-VLとQwen2.5-VLをベースにしたCoCoAが埋め込み品質を著しく向上することを示した。
  論文  参考訳（メタデータ） (2026-03-02T05:34:45Z)
• Decoupled Multimodal Fusion for User Interest Modeling in Click-Through Rate Prediction [6.663141182602147]
  ユーザ関心モデリングのためのIDベースの協調表現とマルチモーダル表現とのきめ細かい相互作用を可能にするために,Decoupled Multimodal Fusion (DMF)を提案する。 我々は、異なる埋め込み空間にまたがるセマンティックギャップをブリッジするターゲット認識機能を構築し、それらをサイド情報として活用し、ユーザ関心モデリングの有効性を高める。 DMFは国際的なeコマースプラットフォームの製品レコメンデーションシステムにデプロイされ、CTCVRの5.30%とGMVの7.43%の相対的な改善を実現している。
  論文  参考訳（メタデータ） (2025-10-13T07:06:26Z)
• Complementarity-driven Representation Learning for Multi-modal Knowledge Graph Completion [0.0]
  我々はMixture of Complementary Modality Experts (MoCME)という新しいフレームワークを提案する。 MoCMEはComplementarity-guided Modality Knowledge Fusion (CMKF)モジュールとEntropy-guided Negative Sampling (EGNS)メカニズムで構成されている。 私たちのMoCMEは最先端のパフォーマンスを達成し、既存のアプローチを超越しています。
  論文  参考訳（メタデータ） (2025-07-28T08:35:11Z)
• Completed Feature Disentanglement Learning for Multimodal MRIs Analysis [36.32164729310868]
  特徴不整合(FD)に基づく手法はマルチモーダルラーニング(MML)において大きな成功を収めた 本稿では,特徴デカップリング時に失われた情報を復元する完全特徴分散(CFD)戦略を提案する。 具体的には、CFD戦略は、モダリティ共有とモダリティ固有の特徴を識別するだけでなく、マルチモーダル入力のサブセット間の共有特徴を分離する。
  論文  参考訳（メタデータ） (2024-07-06T01:49:38Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Beyond Unimodal Learning: The Importance of Integrating Multiple Modalities for Lifelong Learning [23.035725779568587]
  ディープニューラルネットワーク(DNN)におけるマルチモーダル性の役割と相互作用について検討する。 以上の結果から,複数のビューと相補的な情報を複数のモーダルから活用することで,より正確かつ堅牢な表現を学習できることが示唆された。 本稿では,各モーダルにおけるデータ点間の関係構造的類似性を利用して,異なるモーダルからの情報の統合と整合化を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:58Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。