論文の概要: DAIF: A Data-Driven Intermediate Fusion Framework for Multimodal Supervised Learning via Approximate Message Passing

• arxiv url: http://arxiv.org/abs/2608.02769v1
• Date: Mon, 03 Aug 2026 18:10:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.914014
• Title: DAIF: A Data-Driven Intermediate Fusion Framework for Multimodal Supervised Learning via Approximate Message Passing
• Title（参考訳）: DAIF(Data-Driven Intermediate Fusion Framework for Multimodal Supervised Learning by Approximate Message Passing)
• Abstract要約: DAIFはデータから融合構造を直接学習するデータ適応型中間核融合フレームワークである。 我々はベイズ的マルチモーダル因子モデルの下で動作し、潜在因子の先行が相互モーダル依存を決定する。 提案手法は,モーダル依存性の推定値に基づいてモダリティをクラスタリングし,事前のクラスタワイズ実験ベイズ推定を行う。
• 参考スコア（独自算出の注目度）: 11.222071637855079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal supervised learning seeks to leverage multiple heterogeneous data sources to improve predictive performance. A central challenge is determining the fusion granularity across modalities: over-integration may amplify noise while under-integration fails to exploit cross-modal dependence. Existing approaches rely on pre-specified fusion architectures, from early to late fusion, that may not adapt to the underlying dependence structure among modalities. We propose DAIF, a data adaptive intermediate fusion framework that combines random matrix theory and non-parametric dependence measures to learn fusion structure directly from data. We operate under a Bayesian multimodal factor model where the prior on the latent factors determines the cross-modal dependence. Our method clusters modalities based on estimated intermodal dependence, then performs clusterwise empirical Bayes estimation of the priors. These estimated priors are used to construct denoisers within an approximate message passing (AMP) framework, yielding denoised low-dimensional features that borrow strength across related modalities while preserving modality-specific signal. The resulting embeddings are used for downstream supervised prediction. We evaluate the framework through simulations under varying dependence structures and signal regimes, comparing against several benchmark methods, and demonstrate its practical utility on two multimodal datasets, namely a trimodal TEA-seq dataset (Swanson et al., 2021) and TCGA-BRCA dataset (Goldman et al., 2020). In the first example, we predict the expression level of a T-cell differentiation marker protein and in the second case we analyze patient survival prediction based on multimodal information. Our method competes with or outperforms the state-of-the-art techniques in both prediction problems, demonstrating its versatility across diverse supervised learning tasks.
• Abstract（参考訳）: マルチモーダル教師付き学習は、予測性能を改善するために複数の異種データソースを活用する。 過積分はノイズを増幅し、過積分はクロスモーダル依存を利用するのに失敗する。 既存のアプローチは、初期から後期の融合アーキテクチャに依存しており、モダリティ間の基盤となる依存構造に適応しない可能性がある。 本研究では,データから直接融合構造を学習するために,ランダム行列理論と非パラメトリック依存尺度を組み合わせたデータ適応型中間融合フレームワークDAIFを提案する。 我々はベイズ的マルチモーダル因子モデルの下で動作し、潜在因子の先行が相互モーダル依存を決定する。 提案手法は,モーダル依存性の推定値に基づいてモダリティをクラスタリングし,事前のクラスタワイズ実験ベイズ推定を行う。 これらの推定された先行値は、近似メッセージパッシング(AMP)フレームワーク内でデノイザを構築するために使用され、モダリティ固有の信号を保持しながら、関連するモダリティ間で強度を借用するデノイザ化低次元特徴を与える。 結果として生じる埋め込みは、下流の教師付き予測に使用される。 我々は,様々な依存構造や信号体系のシミュレーションを通じて,いくつかのベンチマーク手法との比較を行い,TEA-seqデータセット(Swanson et al , 2021)とTCGA-BRCAデータセット(Goldman et al , 2020)という2つのマルチモーダルデータセットの実用性を実証した。 第1の例では,T細胞分化マーカータンパク質の発現レベルを予測し,第2の例では,マルチモーダル情報に基づいて患者生存率を予測する。 本手法は,様々な教師付き学習課題にまたがる多目的性を示すとともに,予測問題における最先端技術との競合や性能向上を図っている。

関連論文リスト

• Beyond Modality Fusion: Deep Ensembles for Multimodal Classification [0.38059763597999]
  マルチモーダル分類において、レイトフュージョンアプローチは、単一モーダルニューラルネットワークによって抽出されたモーダリティ固有の特徴を分類する。 本研究では, マルチモーダルデータを非モーダルネットワークの深いアンサンブルを用いて, 明示的なモダリティ融合なしに効果的に分類できることを示す。 本稿では,モダリティの数と予測強度の両方を制御できる合成マルチモーダルフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-06T12:59:45Z)
• Attention-Based Multimodal Survival Prediction with Cross-Modal Bilinear Fusion [1.4203297056262238]
  患者レベル生存予測のための新しいディープラーニングフレームワークを提案する。 全スライディング組織学の特徴、RNA-seq発現プロファイル、臨床変数を統合している。 我々のアーキテクチャは、スライドレベルの表現のためのAMMILモジュールciteilse2018アテンションと、RNAおよび臨床データのためのフィードフォワードエンコーダを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-05-12T13:09:25Z)
• Omnimodal Dataset Distillation via High-order Proxy Alignment [59.74134776126595]
  本稿では,プロキシ構造を用いて高次クロスモーダルアライメントをキャプチャするHoPAを提案する。 本手法は,一対のモダリティモデリングの複雑さを回避し,不均一なモダリティをまたいだスケーラブルなプロキシ解析を可能にする。
  論文  参考訳（メタデータ） (2026-04-12T14:47:41Z)
• AlignMamba-2: Enhancing Multimodal Fusion and Sentiment Analysis with Modality-Aware Mamba [56.52470564147458]
  マルチモーダル融合と感情分析のための効率的かつ効率的なフレームワークである textbfAlignMamba-2 を提案する。 提案手法では, 最適輸送距離と最大平均離散度の両方を用いてモデルを正規化する2つのアライメント戦略を導入する。 さらに重要なことは、モダリティに特有かつモダリティに偏ったエキスパートによるMixture-of-Expertsアーキテクチャを採用したModality-Aware Mamba層を設計することです。
  論文  参考訳（メタデータ） (2026-03-19T03:47:21Z)
• Explainable Multimodal Regression via Information Decomposition [27.157278306251772]
  部分情報分解(PID)に基づく新しい多モード回帰フレームワークを提案する。 本フレームワークは,予測精度と解釈可能性の両方において最先端の手法より優れ,効率的な推論のための情報モダリティ選択を可能にする。
  論文  参考訳（メタデータ） (2025-12-26T18:07:18Z)
• Multi-modal Bayesian Neural Network Surrogates with Conjugate Last-Layer Estimation [0.30586855806896046]
  我々は、2つのマルチモーダルニューラルネットワークサロゲートモデルを開発し、最終層における条件共役分布を利用してモデルパラメータを推定する。 我々は,スカラーデータと時系列データの両方に対する一様サロゲートモデルと比較して,予測精度と不確実性が改善されたことを示す。
  論文  参考訳（メタデータ） (2025-09-26T00:13:57Z)
• Learning Discrete Bayesian Networks with Hierarchical Dirichlet Shrinkage [52.914168158222765]
  我々はDBNを学習するための包括的なベイズ的フレームワークについて詳述する。 我々は、並列ランゲヴィン提案を用いてマルコフ連鎖モンテカルロ(MCMC)アルゴリズムを新たに提案し、正確な後続サンプルを生成する。 原発性乳癌検体から予後ネットワーク構造を明らかにするために本手法を適用した。
  論文  参考訳（メタデータ） (2025-09-16T17:24:35Z)
• NSF-MAP: Neurosymbolic Multimodal Fusion for Robust and Interpretable Anomaly Prediction in Assembly Pipelines [0.0]
  本稿では,組立パイプラインにおける多モード異常予測のためのニューロシンボリックAIと融合に基づくアプローチを提案する。 決定レベル融合技術を利用した時系列および画像ベース融合モデルを提案する。 その結果,伝達学習を用いたニューロシンボリックAIベースの融合アプローチは,時系列データと画像データの相補的強みを効果的に活用できることが示唆された。
  論文  参考訳（メタデータ） (2025-05-09T16:50:42Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。