論文の概要: M3H: Multimodal Multitask Machine Learning for Healthcare
- arxiv url: http://arxiv.org/abs/2404.18975v3
- Date: Sat, 8 Jun 2024 19:11:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 00:14:44.079744
- Title: M3H: Multimodal Multitask Machine Learning for Healthcare
- Title(参考訳): M3H:医療のためのマルチモーダルマルチタスク機械学習
- Authors: Dimitris Bertsimas, Yu Ma,
- Abstract要約: M3Hは、医療フレームワークのためのマルチモーダルマルチタスク機械学習(Multimodal Multitask Machine Learning for Healthcare)である。
教師付きバイナリ/マルチクラス分類、回帰、教師なしクラスタリングのためのデータからの学習を集約する。
16の医療部門、病院の手術予測3件、患者の表現タスク1件の40の疾患診断のうち、平均11.6%でシングルタスクモデルを上回っている。
- 参考スコア(独自算出の注目度): 7.4489490661717355
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Developing an integrated many-to-many framework leveraging multimodal data for multiple tasks is crucial to unifying healthcare applications ranging from diagnoses to operations. In resource-constrained hospital environments, a scalable and unified machine learning framework that improves previous forecast performances could improve hospital operations and save costs. We introduce M3H, an explainable Multimodal Multitask Machine Learning for Healthcare framework that consolidates learning from tabular, time-series, language, and vision data for supervised binary/multiclass classification, regression, and unsupervised clustering. It features a novel attention mechanism balancing self-exploitation (learning source-task), and cross-exploration (learning cross-tasks), and offers explainability through a proposed TIM score, shedding light on the dynamics of task learning interdependencies. M3H encompasses an unprecedented range of medical tasks and machine learning problem classes and consistently outperforms traditional single-task models by on average 11.6% across 40 disease diagnoses from 16 medical departments, three hospital operation forecasts, and one patient phenotyping task. The modular design of the framework ensures its generalizability in data processing, task definition, and rapid model prototyping, making it production ready for both clinical and operational healthcare settings, especially those in constrained environments.
- Abstract(参考訳): マルチモーダルデータを複数のタスクに活用した、多対多の統合フレームワークの開発は、診断から手術まで、医療アプリケーションを統合する上で極めて重要です。
リソース制約のある病院環境において、以前の予測性能を改善するスケーラブルで統一された機械学習フレームワークは、病院の運営を改善し、コストを削減できる。
M3Hはマルチモーダル・マルチタスク・機械学習・フォー・ヘルスケア・フレームワークで、表、時系列、言語、視覚データから学習を集約し、教師付きバイナリ/マルチクラス分類、回帰、教師なしクラスタリングを行う。
自己探索(学習ソースタスク)と横断探索(学習クロスタスク)のバランスをとる新しい注意機構を備え、提案されたTIMスコアを通じて説明可能性を提供し、タスク学習相互依存性のダイナミクスに光を当てる。
M3Hは前例のない医療タスクと機械学習の問題クラスを含み、16の医療部門から平均11.6%の病気診断、3つの病院手術予測、1つの患者表現タスクで従来のシングルタスクモデルを上回っている。
このフレームワークのモジュール設計は、データ処理、タスク定義、迅速なモデルプロトタイピングにおいて、その一般化性を保証する。
関連論文リスト
- MedViLaM: A multimodal large language model with advanced generalizability and explainability for medical data understanding and generation [40.9095393430871]
MedViLaMは、医用データの汎用モデルに向けた統合視覚言語モデルである。
MedViLaMは、臨床言語や画像など、様々な形の医療データを柔軟にエンコードし、解釈することができる。
ゼロショットの一般化を新しい医療概念やタスクに適用し、異なるタスク間で効果的な伝達学習を行い、ゼロショットの医学推論が出現する事例を提示する。
論文 参考訳(メタデータ) (2024-09-29T12:23:10Z) - PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳(メタデータ) (2024-09-08T15:02:25Z) - Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。
AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
論文 参考訳(メタデータ) (2024-07-25T17:46:38Z) - FlexCare: Leveraging Cross-Task Synergy for Flexible Multimodal Healthcare Prediction [34.732561455987145]
我々は、不完全なマルチモーダル入力に柔軟に対応するために、textbfFlexCareという統合医療予測モデルを提案する。
タスクに依存しないマルチモーダル情報抽出モジュールを提示し、多様なモダリティ内およびモダリティ間パターンの非相関表現をキャプチャする。
MIMIC-IV/MIMIC-CXR/MIMIC-NOTEデータセットによる複数のタスクの実験結果から,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2024-06-17T12:03:10Z) - Global Contrastive Training for Multimodal Electronic Health Records with Language Supervision [1.6245786035158123]
本稿では,医療時系列と臨床ノートに着目した,新しいマルチモーダルコントラスト学習フレームワークを提案する。
このフレームワークは、時間的クロスアテンション変換器と動的埋め込みおよびトークン化スキームを統合し、マルチモーダルな特徴表現を学習する。
実世界のERHデータセットを用いて実験したところ, 術後合併症9例の発症予測において, 我々のフレームワークは最先端のアプローチよりも優れていた。
論文 参考訳(メタデータ) (2024-04-10T04:19:59Z) - Learning A Multi-Task Transformer Via Unified And Customized Instruction
Tuning For Chest Radiograph Interpretation [35.87795950781491]
本稿では,マルチモーダルな臨床タスクに特化して設計された統一型トランスフォーマーモデルについて述べる。
まず,134万の命令と接地真実対からなるマルチタスク学習データセットを構成する。
また,同種モデル入力とアウトプットを併用して,視力集約的なタスクを単一学習フレームワークに統合することで,1回の読解において臨床解釈可能性を高めることができる。
論文 参考訳(メタデータ) (2023-11-02T08:55:48Z) - Clairvoyance: A Pipeline Toolkit for Medical Time Series [95.22483029602921]
時系列学習は、データ駆動の*クリニカルな意思決定支援のパンとバターである*
Clairvoyanceは、ソフトウェアツールキットとして機能する、統合されたエンドツーエンドのオートMLフレンドリなパイプラインを提案する。
Clairvoyanceは、臨床時系列MLのための包括的で自動化可能なパイプラインの生存可能性を示す最初のものである。
論文 参考訳(メタデータ) (2023-10-28T12:08:03Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Towards Medical Artificial General Intelligence via Knowledge-Enhanced
Multimodal Pretraining [121.89793208683625]
医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。
我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-04-26T01:26:19Z) - Specialty-Oriented Generalist Medical AI for Chest CT Screening [14.31187762890342]
本稿では,肺がん検診および関連する課題に応用したM3FM(Maltimodal-multitask foundation model)を提案する。
M3FMは、最先端のシングルモーダルタスク特化モデルより一貫して優れている。
専門的な汎用的な医療AIモデルとして、M3FMは、他の医療分野における同様のブレークスルーの道を開く。
論文 参考訳(メタデータ) (2023-04-03T20:19:56Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳(メタデータ) (2021-07-20T07:04:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。