論文の概要: Supervised Multi-Modal Fission Learning

• arxiv url: http://arxiv.org/abs/2409.20559v1
• Date: Mon, 30 Sep 2024 17:58:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 01:35:17.314818
• Title: Supervised Multi-Modal Fission Learning
• Title（参考訳）: マルチモーダル・フィッション・ラーニング
• Authors: Lingchao Mao, Qi wang, Yi Su, Fleming Lure, Jing Li,
• Abstract要約: マルチモーダルデータセットからの学習は相補的な情報を活用することができ、予測タスクのパフォーマンスを向上させることができる。 本稿では,グローバルな関節,部分的な関節,個々のコンポーネントを同時に識別するマルチモーダル・フィッション・ラーニング・モデルを提案する。
• 参考スコア（独自算出の注目度）: 19.396207029419813
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning from multimodal datasets can leverage complementary information and improve performance in prediction tasks. A commonly used strategy to account for feature correlations in high-dimensional datasets is the latent variable approach. Several latent variable methods have been proposed for multimodal datasets. However, these methods either focus on extracting the shared component across all modalities or on extracting both a shared component and individual components specific to each modality. To address this gap, we propose a Multi-Modal Fission Learning (MMFL) model that simultaneously identifies globally joint, partially joint, and individual components underlying the features of multimodal datasets. Unlike existing latent variable methods, MMFL uses supervision from the response variable to identify predictive latent components and has a natural extension for incorporating incomplete multimodal data. Through simulation studies, we demonstrate that MMFL outperforms various existing multimodal algorithms in both complete and incomplete modality settings. We applied MMFL to a real-world case study for early prediction of Alzheimers Disease using multimodal neuroimaging and genomics data from the Alzheimers Disease Neuroimaging Initiative (ADNI) dataset. MMFL provided more accurate predictions and better insights into within- and across-modality correlations compared to existing methods.
• Abstract（参考訳）: マルチモーダルデータセットからの学習は相補的な情報を活用することができ、予測タスクのパフォーマンスを向上させることができる。 高次元データセットの特徴相関を考慮に入れた一般的な戦略は、潜在変数アプローチである。 マルチモーダルデータセットに対していくつかの潜在変数法が提案されている。 しかしながら、これらの手法は、すべてのモダリティで共有コンポーネントを抽出することや、共有コンポーネントと各モダリティに特有の個々のコンポーネントの両方を抽出することに焦点を当てている。 このギャップに対処するために,マルチモーダルデータセットの特徴を基盤とした,グローバルな関節,部分的な関節,個々のコンポーネントを同時に識別するマルチモーダル・フィッション・ラーニング(MMFL)モデルを提案する。 既存の潜伏変数法とは異なり、MMFLは応答変数の監督を利用して予測潜伏成分を識別し、不完全なマルチモーダルデータを組み込む自然な拡張を持つ。 シミュレーション研究を通じて、MMFLは、完全かつ不完全なモード設定の両方において、様々な既存マルチモーダルアルゴリズムより優れていることを示す。 我々は、マルチモーダルなニューロイメージングと、アルツハイマー病神経画像イニシアチブ(ADNI)データセットからのゲノムデータを用いた、アルツハイマー病の早期予測のための実世界のケーススタディにMMFLを適用した。 MMFLは、既存の方法と比較して、より正確な予測と、モダリティ内およびモダリティ間相関に関するより良い洞察を提供した。

関連論文リスト

• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [64.50893177169996]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルなヘテロジニアスシナリオにおけるMLLMのファインチューニングにおける様々なダウンストリームタスクを評価するためのベンチマークを提案する。 我々は,2つのモダリティに依存しない戦略とともに,4つの代表的FL手法を統合する汎用FedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• MMBind: Unleashing the Potential of Distributed and Heterogeneous Data for Multimodal Learning in IoT [11.884646027921173]
  分散および異種IoTデータのマルチモーダル学習のための新しいフレームワークであるMBindを提案する。 同様の事象を観測する異なるモードのデータを、異なる時間や場所で捉えたとしても、マルチモーダルトレーニングに効果的に利用できることを示す。
  論文  参考訳（メタデータ） (2024-11-18T23:34:07Z)
• Completed Feature Disentanglement Learning for Multimodal MRIs Analysis [36.32164729310868]
  特徴不整合(FD)に基づく手法はマルチモーダルラーニング(MML)において大きな成功を収めた 本稿では,特徴デカップリング時に失われた情報を復元する完全特徴分散(CFD)戦略を提案する。 具体的には、CFD戦略は、モダリティ共有とモダリティ固有の特徴を識別するだけでなく、マルチモーダル入力のサブセット間の共有特徴を分離する。
  論文  参考訳（メタデータ） (2024-07-06T01:49:38Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• FedMM: Federated Multi-Modal Learning with Modality Heterogeneity in Computational Pathology [3.802258033231335]
  Federated Multi-Modal (FedMM) は、複数の単一モード特徴抽出器を訓練し、その後の分類性能を向上させる学習フレームワークである。 FedMMは、精度とAUCメトリクスの2つのベースラインを特に上回っている。
  論文  参考訳（メタデータ） (2024-02-24T16:58:42Z)
• Multi-Modal Federated Learning for Cancer Staging over Non-IID Datasets with Unbalanced Modalities [9.476402318365446]
  本研究では,データサンプルの不均一性だけでなく,機関間のデータモダリティの固有不均一性と不均一性を両立する新しいFLアーキテクチャを提案する。 マルチモーダルFLに適した分散勾配ブレンディングと近接対応クライアント重み付け戦略を考案した。
  論文  参考訳（メタデータ） (2024-01-07T23:45:01Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Quantifying & Modeling Multimodal Interactions: An Information Decomposition Framework [89.8609061423685]
  本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。 PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。 本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
  論文  参考訳（メタデータ） (2023-02-23T18:59:05Z)
• Self-Supervised Multimodal Domino: in Search of Biomarkers for Alzheimer's Disease [19.86082635340699]
  自己監督型表現学習アルゴリズムを編成する合理的な方法の分類法を提案する。 まず,おもちゃのマルチモーダルMNISTデータセットのモデルを評価し,アルツハイマー病患者を用いたマルチモーダル・ニューロイメージングデータセットに適用した。 提案手法は,従来の自己教師付きエンコーダデコーダ法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:28:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。