論文の概要: Meta Fusion: A Unified Framework For Multimodality Fusion with Mutual Learning
- arxiv url: http://arxiv.org/abs/2507.20089v1
- Date: Sun, 27 Jul 2025 00:50:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:56.881385
- Title: Meta Fusion: A Unified Framework For Multimodality Fusion with Mutual Learning
- Title（参考訳）: Meta Fusion: 相互学習によるマルチモーダルフュージョンのための統一フレームワーク
- Authors: Ziyi Liang, Annie Qu, Babak Shahbaba,
- Abstract要約: 既存の戦略を特別なケースとして統一する,フレキシブルで原則化されたフレームワークであるMeta Fusionを紹介します。
深い相互学習とアンサンブル学習によって動機づけられたメタフュージョンは、モダリティにまたがる潜在表現の様々な組み合わせに基づくモデルのコホートを構築する。
我々のアプローチは潜在表現の学習においてモデルに依存しないため、各モダリティの固有の特性に柔軟に適応することができる。
- 参考スコア（独自算出の注目度）: 1.5367554212163714
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Developing effective multimodal data fusion strategies has become increasingly essential for improving the predictive power of statistical machine learning methods across a wide range of applications, from autonomous driving to medical diagnosis. Traditional fusion methods, including early, intermediate, and late fusion, integrate data at different stages, each offering distinct advantages and limitations. In this paper, we introduce Meta Fusion, a flexible and principled framework that unifies these existing strategies as special cases. Motivated by deep mutual learning and ensemble learning, Meta Fusion constructs a cohort of models based on various combinations of latent representations across modalities, and further boosts predictive performance through soft information sharing within the cohort. Our approach is model-agnostic in learning the latent representations, allowing it to flexibly adapt to the unique characteristics of each modality. Theoretically, our soft information sharing mechanism reduces the generalization error. Empirically, Meta Fusion consistently outperforms conventional fusion strategies in extensive simulation studies. We further validate our approach on real-world applications, including Alzheimer's disease detection and neural decoding.
- Abstract（参考訳）: 効率的なマルチモーダルデータ融合戦略の開発は、自律運転から医療診断に至るまで、幅広いアプリケーションにわたる統計機械学習手法の予測能力向上にますます不可欠になっている。
早期、中期、後期の融合を含む従来の融合法は、異なる段階でデータを統合し、それぞれに明確な利点と制限を提供する。
本稿では,これらの既存の戦略を特別なケースとして統一する,フレキシブルで原則化されたフレームワークであるMeta Fusionを紹介する。
深い相互学習とアンサンブル学習によって動機づけられたメタフュージョンは、モダリティにまたがる潜在表現の様々な組み合わせに基づくモデルのコホートを構築し、コホート内のソフト情報共有を通じて予測性能をさらに向上させる。
我々のアプローチは潜在表現の学習においてモデルに依存しないため、各モダリティの固有の特性に柔軟に適応することができる。
理論的には,我々のソフト情報共有機構は一般化誤差を低減する。
経験的に、メタフュージョンは広範なシミュレーション研究において従来の融合戦略より一貫して優れている。
我々は、アルツハイマー病の検出や神経復号など、現実世界の応用に対する我々のアプローチをさらに検証する。
関連論文リスト
- Deep Unrolled Meta-Learning for Multi-Coil and Multi-Modality MRI with Adaptive Optimization [0.0]
核磁気共鳴イメージング(MRI)のための統合型深層メタラーニングフレームワークを提案する。
マルチコイル再構成とクロスモダリティ合成を共同で行う。
その結果,従来の教師あり学習よりもPSNRが大幅に向上した。
論文 参考訳（メタデータ） (2025-05-08T04:47:12Z) - Harmony: A Unified Framework for Modality Incremental Learning [81.13765007314781]
本稿では,連続的に進化するモーダルシーケンスを横断するインクリメンタル学習が可能な統一モデルの実現可能性について検討する。
本研究では,適応的アライメントと知識保持を実現するために,Harmonyという新しいフレームワークを提案する。
提案手法は適応性のある特徴変調と累積的モーダルブリッジングを導入する。
論文 参考訳（メタデータ） (2025-04-17T06:35:01Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳（メタデータ） (2025-01-30T06:49:57Z) - Completed Feature Disentanglement Learning for Multimodal MRIs Analysis [36.32164729310868]
特徴不整合(FD)に基づく手法はマルチモーダルラーニング(MML)において大きな成功を収めた
本稿では,特徴デカップリング時に失われた情報を復元する完全特徴分散(CFD)戦略を提案する。
具体的には、CFD戦略は、モダリティ共有とモダリティ固有の特徴を識別するだけでなく、マルチモーダル入力のサブセット間の共有特徴を分離する。
論文 参考訳（メタデータ） (2024-07-06T01:49:38Z) - Unified Modeling Enhanced Multimodal Learning for Precision Neuro-Oncology [8.802214988309684]
ヒストロジーとゲノム学の両モードの共通性と相補的な特徴を利用する階層的アテンション構造を導入する。
本手法は,グリオーマ診断および予後タスクにおける従来の最先端手法を超越した手法である。
論文 参考訳（メタデータ） (2024-06-11T09:06:41Z) - Advancing Multimodal Data Fusion in Pain Recognition: A Strategy Leveraging Statistical Correlation and Human-Centered Perspectives [0.3749861135832073]
本研究では、痛み行動認識のための新しいマルチモーダルデータ融合手法を提案する。
1)データ駆動型統計関連度重みを融合戦略に統合し,2)マルチモーダル表現学習に人間中心の運動特性を取り入れた。
本研究は,患者中心型医療介入を推進し,説明可能な臨床意思決定を支援するために重要な意味を持つ。
論文 参考訳（メタデータ） (2024-03-30T11:13:18Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳（メタデータ） (2024-03-15T17:23:38Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文 参考訳（メタデータ） (2023-11-17T18:57:40Z) - Deep Equilibrium Multimodal Fusion [88.04713412107947]
多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。
本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。
BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
論文 参考訳（メタデータ） (2023-06-29T03:02:20Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳（メタデータ） (2023-06-22T10:53:10Z) - IMF: Interactive Multimodal Fusion Model for Link Prediction [13.766345726697404]
異なるモダリティからの知識を統合するために,インタラクティブ・マルチモーダル・フュージョン(IMF)モデルを導入する。
提案手法は,実世界の複数のデータセットに対する経験的評価によって有効であることが実証された。
論文 参考訳（メタデータ） (2023-03-20T01:20:02Z) - Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。
複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。
我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2021-06-30T22:44:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。