論文の概要: FlexCare: Leveraging Cross-Task Synergy for Flexible Multimodal Healthcare Prediction
- arxiv url: http://arxiv.org/abs/2406.11928v1
- Date: Mon, 17 Jun 2024 12:03:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-20 00:36:26.354343
- Title: FlexCare: Leveraging Cross-Task Synergy for Flexible Multimodal Healthcare Prediction
- Title（参考訳）: FlexCare: フレキシブルなマルチモーダルヘルスケア予測のためのクロスタスクシナジーを活用する
- Authors: Muhao Xu, Zhenfeng Zhu, Youru Li, Shuai Zheng, Yawei Zhao, Kunlun He, Yao Zhao,
- Abstract要約: 我々は、不完全なマルチモーダル入力に柔軟に対応するために、textbfFlexCareという統合医療予測モデルを提案する。
タスクに依存しないマルチモーダル情報抽出モジュールを提示し、多様なモダリティ内およびモダリティ間パターンの非相関表現をキャプチャする。
MIMIC-IV/MIMIC-CXR/MIMIC-NOTEデータセットによる複数のタスクの実験結果から,提案手法の有効性が示された。
- 参考スコア（独自算出の注目度）: 34.732561455987145
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal electronic health record (EHR) data can offer a holistic assessment of a patient's health status, supporting various predictive healthcare tasks. Recently, several studies have embraced the multitask learning approach in the healthcare domain, exploiting the inherent correlations among clinical tasks to predict multiple outcomes simultaneously. However, existing methods necessitate samples to possess complete labels for all tasks, which places heavy demands on the data and restricts the flexibility of the model. Meanwhile, within a multitask framework with multimodal inputs, how to comprehensively consider the information disparity among modalities and among tasks still remains a challenging problem. To tackle these issues, a unified healthcare prediction model, also named by \textbf{FlexCare}, is proposed to flexibly accommodate incomplete multimodal inputs, promoting the adaption to multiple healthcare tasks. The proposed model breaks the conventional paradigm of parallel multitask prediction by decomposing it into a series of asynchronous single-task prediction. Specifically, a task-agnostic multimodal information extraction module is presented to capture decorrelated representations of diverse intra- and inter-modality patterns. Taking full account of the information disparities between different modalities and different tasks, we present a task-guided hierarchical multimodal fusion module that integrates the refined modality-level representations into an individual patient-level representation. Experimental results on multiple tasks from MIMIC-IV/MIMIC-CXR/MIMIC-NOTE datasets demonstrate the effectiveness of the proposed method. Additionally, further analysis underscores the feasibility and potential of employing such a multitask strategy in the healthcare domain. The source code is available at https://github.com/mhxu1998/FlexCare.
- Abstract（参考訳）: マルチモーダル電子健康記録(EHR)データは、患者の健康状態の総合的な評価を提供し、様々な予測医療タスクをサポートする。
近年,医療領域におけるマルチタスク学習のアプローチを取り入れた研究がいくつかある。
しかし、既存の手法では全てのタスクに対して完全なラベルを持つ必要があるため、データに強い要求を課し、モデルの柔軟性を制限する必要がある。
一方、マルチモーダルな入力を持つマルチタスクフレームワークでは、モーダル間の情報格差を包括的に考慮する方法は依然として難しい問題である。
これらの課題に対処するために,不完全なマルチモーダル入力を柔軟に適応し,複数の医療タスクへの適応を促進するために,‘textbf{FlexCare}’と呼ばれる統合医療予測モデルを提案する。
提案モデルは,従来の並列マルチタスク予測のパラダイムを,非同期な単一タスク予測に分解することで破る。
具体的には、タスクに依存しないマルチモーダル情報抽出モジュールを提示し、多様なモーダル内およびモーダル間パターンの非相関表現をキャプチャする。
異なるモダリティと異なるタスク間の情報格差をフルに考慮し、洗練されたモダリティレベルの表現を個別の患者レベルの表現に統合するタスク誘導型階層型マルチモーダル融合モジュールを提案する。
MIMIC-IV/MIMIC-CXR/MIMIC-NOTEデータセットによる複数のタスクの実験結果から,提案手法の有効性が示された。
さらに、さらなる分析は、医療領域でそのようなマルチタスク戦略を採用する可能性と可能性を示している。
ソースコードはhttps://github.com/mhxu1998/FlexCareで入手できる。
関連論文リスト
- MedViLaM: A multimodal large language model with advanced generalizability and explainability for medical data understanding and generation [40.9095393430871]
MedViLaMは、医用データの汎用モデルに向けた統合視覚言語モデルである。
MedViLaMは、臨床言語や画像など、様々な形の医療データを柔軟にエンコードし、解釈することができる。
ゼロショットの一般化を新しい医療概念やタスクに適用し、異なるタスク間で効果的な伝達学習を行い、ゼロショットの医学推論が出現する事例を提示する。
論文 参考訳（メタデータ） (2024-09-29T12:23:10Z) - DRIM: Learning Disentangled Representations from Incomplete Multimodal Healthcare Data [0.0]
実生活の医療データは、しばしばマルチモーダルで不完全であり、高度なディープラーニングモデルの必要性を助長する。
データ疎性にもかかわらず、共有表現とユニークな表現をキャプチャする新しい方法であるDRIMを紹介する。
本手法はグリオーマ患者の生存予測タスクにおける最先端のアルゴリズムよりも優れており,モダリティの欠如に対して頑健である。
論文 参考訳（メタデータ） (2024-09-25T16:13:57Z) - Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models [17.643421997037514]
差別的, 生成的両マルチモーダル医療課題に対処する新しい枠組みを提案する。
Med-MoEの学習は、マルチモーダル医療アライメント、命令チューニングとルーティング、ドメイン固有のMoEチューニングの3つのステップで構成されている。
我々のモデルは最先端のベースラインに匹敵する性能を達成できる。
論文 参考訳（メタデータ） (2024-04-16T02:35:17Z) - An Efficient General-Purpose Modular Vision Model via Multi-Task
Heterogeneous Training [79.78201886156513]
本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。
提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
論文 参考訳（メタデータ） (2023-06-29T17:59:57Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳（メタデータ） (2023-06-22T10:53:10Z) - Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。
相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。
本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
論文 参考訳（メタデータ） (2023-06-07T15:44:53Z) - Diffusion Model is an Effective Planner and Data Synthesizer for
Multi-Task Reinforcement Learning [101.66860222415512]
Multi-Task Diffusion Model (textscMTDiff) は、トランスフォーマーのバックボーンを組み込んだ拡散に基づく手法であり、生成計画とデータ合成のための素早い学習を行う。
生成計画において、textscMTDiffはMeta-World上の50のタスクとMaze2D上の8のマップで最先端のアルゴリズムより優れています。
論文 参考訳（メタデータ） (2023-05-29T05:20:38Z) - Multi-task Paired Masking with Alignment Modeling for Medical
Vision-Language Pre-training [55.56609500764344]
本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。
また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
論文 参考訳（メタデータ） (2023-05-13T13:53:48Z) - Specialty-Oriented Generalist Medical AI for Chest CT Screening [14.31187762890342]
本稿では,肺がん検診および関連する課題に応用したM3FM(Maltimodal-multitask foundation model)を提案する。
M3FMは、最先端のシングルモーダルタスク特化モデルより一貫して優れている。
専門的な汎用的な医療AIモデルとして、M3FMは、他の医療分野における同様のブレークスルーの道を開く。
論文 参考訳（メタデータ） (2023-04-03T20:19:56Z) - Variational Multi-Task Learning with Gumbel-Softmax Priors [105.22406384964144]
マルチタスク学習は、タスク関連性を探究し、個々のタスクを改善することを目的としている。
本稿では,複数のタスクを学習するための一般的な確率的推論フレームワークである変分マルチタスク学習(VMTL)を提案する。
論文 参考訳（メタデータ） (2021-11-09T18:49:45Z) - Patient Outcome and Zero-shot Diagnosis Prediction with
Hypernetwork-guided Multitask Learning [3.392432412743858]
マルチタスク深層学習は、テキストからの患者結果予測に応用されている。
複数のタスクにおける診断予測は、稀な疾患や未診断の診断による一般化可能性の問題である。
本稿では,タスク条件付きパラメータとマルチタスク予測ヘッドの係数を生成するハイパーネットワークベースの手法を提案する。
論文 参考訳（メタデータ） (2021-09-07T12:52:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。