論文の概要: Automated Ensemble Multimodal Machine Learning for Healthcare

• arxiv url: http://arxiv.org/abs/2407.18227v1
• Date: Thu, 25 Jul 2024 17:46:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 13:09:36.668392
• Title: Automated Ensemble Multimodal Machine Learning for Healthcare
• Title（参考訳）: 医療用マルチモーダル機械学習の自動化
• Authors: Fergus Imrie, Stefan Denner, Lucas S. Brunschwig, Klaus Maier-Hein, Mihaela van der Schaar,
• Abstract要約: 本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。 AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
• 参考スコア（独自算出の注目度）: 52.500923923797835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The application of machine learning in medicine and healthcare has led to the creation of numerous diagnostic and prognostic models. However, despite their success, current approaches generally issue predictions using data from a single modality. This stands in stark contrast with clinician decision-making which employs diverse information from multiple sources. While several multimodal machine learning approaches exist, significant challenges in developing multimodal systems remain that are hindering clinical adoption. In this paper, we introduce a multimodal framework, AutoPrognosis-M, that enables the integration of structured clinical (tabular) data and medical imaging using automated machine learning. AutoPrognosis-M incorporates 17 imaging models, including convolutional neural networks and vision transformers, and three distinct multimodal fusion strategies. In an illustrative application using a multimodal skin lesion dataset, we highlight the importance of multimodal machine learning and the power of combining multiple fusion strategies using ensemble learning. We have open-sourced our framework as a tool for the community and hope it will accelerate the uptake of multimodal machine learning in healthcare and spur further innovation.
• Abstract（参考訳）: 医学や医療における機械学習の応用は、多くの診断および予後モデルの作成につながった。 しかし、その成功にもかかわらず、現在のアプローチは一般に単一のモダリティのデータを用いて予測を発行する。 これは、複数の情報源から多様な情報を利用する臨床医の意思決定とは対照的である。 いくつかのマルチモーダル機械学習アプローチが存在するが、マルチモーダルシステムの開発における重要な課題は、臨床応用を妨げている。 本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを提案する。 AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。 マルチモーダル皮膚病変データセットを用いたイラストレーションアプリケーションでは,マルチモーダル機械学習の重要性と,アンサンブル学習を用いたマルチフュージョン戦略を組み合わせる能力を強調した。 コミュニティのためのツールとして当社のフレームワークをオープンソースとして公開し、医療におけるマルチモーダル機械学習の獲得を加速し、さらなるイノベーションを促進することを期待しています。

関連論文リスト

• Med-MoE: Mixture of Domain-Specific Experts for Lightweight Medical Vision-Language Models [17.643421997037514]
  差別的, 生成的両マルチモーダル医療課題に対処する新しい枠組みを提案する。 Med-MoEの学習は、マルチモーダル医療アライメント、命令チューニングとルーティング、ドメイン固有のMoEチューニングの3つのステップで構成されている。 我々のモデルは最先端のベースラインに匹敵する性能を達成できる。
  論文  参考訳（メタデータ） (2024-04-16T02:35:17Z)
• CMViM: Contrastive Masked Vim Autoencoder for 3D Multi-modal Representation Learning for AD classification [8.843907586879475]
  アルツハイマー病(英語: Alzheimer's disease, AD)は、認知機能低下につながる神経変性疾患である。 本稿では,3次元マルチモーダルデータに適した最初の効率的な表現学習法であるContrastive Masked Vim Autoencoder (CMViM)を提案する。
  論文  参考訳（メタデータ） (2024-03-25T08:02:41Z)
• Review of multimodal machine learning approaches in healthcare [0.0]
  臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。 機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
  論文  参考訳（メタデータ） (2024-02-04T12:21:38Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• Multimodal Machine Learning in Image-Based and Clinical Biomedicine: Survey and Prospects [2.1070612998322438]
  本稿では,臨床予測のためのマルチモーダルモデルの変換可能性について検討する。 進歩にもかかわらず、多くの生物医学領域におけるデータバイアスや「ビッグデータ」の不足といった課題が続いている。
  論文  参考訳（メタデータ） (2023-11-04T05:42:51Z)
• Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining [121.89793208683625]
  医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。 我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-04-26T01:26:19Z)
• AutoPrognosis 2.0: Democratizing Diagnostic and Prognostic Modeling in Healthcare with Automated Machine Learning [72.2614468437919]
  本稿では,診断・予後モデルを開発するための機械学習フレームワークAutoPrognosis 2.0を提案する。 我々は,英国バイオバンクを用いた糖尿病の予後リスクスコアを構築するための図解的アプリケーションを提供する。 我々のリスクスコアはWebベースの意思決定支援ツールとして実装されており、世界中の患者や臨床医がアクセスできる。
  論文  参考訳（メタデータ） (2022-10-21T16:31:46Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。