論文の概要: Multimodal Machine Learning for Clinically-Assistive Imaging-Based
Biomedical Applications
- arxiv url: http://arxiv.org/abs/2311.02332v1
- Date: Sat, 4 Nov 2023 05:42:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 18:06:41.046255
- Title: Multimodal Machine Learning for Clinically-Assistive Imaging-Based
Biomedical Applications
- Title(参考訳): 臨床補助イメージングに基づくバイオメディカル応用のためのマルチモーダル機械学習
- Authors: Elisa Warner, Joonsang Lee, William Hsu, Tanveer Syeda-Mahmood,
Charles Kahn, and Arvind Rao
- Abstract要約: 医療人工知能(AI)システムにおける機械学習(ML)の応用は、伝統的および統計的手法から、ディープラーニングモデルやより最近の生成モデルの適用の増大へと移行してきた。
近年,特に画像を用いたマルチモーダルデータ統合をサポートする,広く利用可能なディープラーニングアーキテクチャの発見が増えている。
本稿では、ML(representation, fusion, alignment, translation, co-learning)に関連するマルチモーダルAIに対する5つの課題について論じ、医療画像に基づく臨床意思決定モデルにおいて、これらの課題に対処するための最近のアプローチについて調査する。
- 参考スコア(独自算出の注目度): 1.447341711917488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) applications in medical artificial intelligence (AI)
systems have shifted from traditional and statistical methods to increasing
application of deep learning models and even more recently generative models.
Recent years have seen a rise in the discovery of widely-available deep
learning architectures that support multimodal data integration, particularly
with images. The incorporation of multiple modalities into these models is a
thriving research topic, presenting its own unique challenges. In this work, we
discuss five challenges to multimodal AI as it pertains to ML (representation,
fusion, alignment, translation, and co-learning) and survey recent approaches
to addressing these challenges in the context of medical image-based clinical
decision support models. We conclude with a discussion of the future of the
field, suggesting directions that should be elucidated further for successful
clinical models and their translation to the clinical setting.
- Abstract(参考訳): 医療人工知能(AI)システムにおける機械学習(ML)の応用は、伝統的および統計的手法から、ディープラーニングモデルやより最近の生成モデルの適用の増加へと移行してきた。
近年,特に画像を用いたマルチモーダルデータ統合をサポートする,広く利用可能なディープラーニングアーキテクチャの発見が増えている。
これらのモデルに複数のモダリティを組み込むことは、独自の課題を示す、繁栄する研究トピックである。
本稿では、ML(representation, fusion, alignment, translation, co-learning)に関連するマルチモーダルAIに対する5つの課題について論じ、医療画像に基づく臨床意思決定モデルにおけるこれらの課題に対処するための最近のアプローチについて調査する。
結論として,この分野の将来について議論し,臨床モデルと臨床現場への翻訳についてさらに解明すべき方向性を示唆した。
関連論文リスト
- A Survey of Medical Vision-and-Language Applications and Their Techniques [48.268198631277315]
医療ビジョン・アンド・ランゲージモデル(MVLM)は、複雑な医療データを解釈するための自然言語インタフェースを提供する能力から、大きな関心を集めている。
本稿では,MVLMの概要と適用した各種医療課題について概観する。
また、これらのタスクに使用するデータセットについても検討し、標準化された評価指標に基づいて異なるモデルの性能を比較した。
論文 参考訳(メタデータ) (2024-11-19T03:27:05Z) - Navigating the landscape of multimodal AI in medicine: a scoping review on technical challenges and clinical applications [2.3754862363513523]
本稿では,医学領域全体にわたるディープラーニングベースのマルチモーダルAIアプリケーションの展望を概観する。
マルチモーダルAIモデルは、AUCの6.2ポイントの平均的な改善により、一貫して単調なAIモデルを上回っている。
我々は,マルチモーダルAI開発を推進している重要な要因を特定し,フィールドの成熟を促進するための推奨事項を提案する。
論文 参考訳(メタデータ) (2024-11-06T09:18:05Z) - From Text to Multimodality: Exploring the Evolution and Impact of Large Language Models in Medical Practice [12.390859712280328]
大規模言語モデル(LLM)は、テキストベースのシステムからマルチモーダルプラットフォームへと急速に進化してきた。
医療におけるMLLMの現況を考察し,臨床診断支援,医用画像,患者エンゲージメント,研究の分野にまたがる応用を分析した。
論文 参考訳(メタデータ) (2024-09-14T02:35:29Z) - A Systematic Review of Intermediate Fusion in Multimodal Deep Learning for Biomedical Applications [0.7831774233149619]
本研究は,生物医学的応用における現在の中間核融合法の解析と形式化を目的としている。
バイオメディカルドメインを超えて,これらの手法の理解と応用を高めるための構造的表記法を導入する。
我々の発見は、より高度で洞察に富んだマルチモーダルモデルの開発において、研究者、医療専門家、そしてより広範なディープラーニングコミュニティを支援することを目的としています。
論文 参考訳(メタデータ) (2024-08-02T11:48:04Z) - Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。
AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
論文 参考訳(メタデータ) (2024-07-25T17:46:38Z) - Review of multimodal machine learning approaches in healthcare [0.0]
臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。
機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
論文 参考訳(メタデータ) (2024-02-04T12:21:38Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳(メタデータ) (2022-03-03T20:52:47Z) - Domain Shift in Computer Vision models for MRI data analysis: An
Overview [64.69150970967524]
機械学習とコンピュータビジョン手法は、医用画像解析において優れた性能を示している。
しかし、現在臨床応用はごくわずかである。
異なるソースや取得ドメインのデータへのモデルの不適切な転送性は、その理由の1つです。
論文 参考訳(メタデータ) (2020-10-14T16:34:21Z) - Machine Learning in Nano-Scale Biomedical Engineering [77.75587007080894]
ナノスケールバイオメディカルエンジニアリングにおける機械学習の利用に関する既存の研究について概説する。
ML問題として定式化できる主な課題は、3つの主要なカテゴリに分類される。
提示された方法論のそれぞれについて、その原則、応用、制限に特に重点を置いている。
論文 参考訳(メタデータ) (2020-08-05T15:45:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。