論文の概要: Multimodal Machine Learning in Image-Based and Clinical Biomedicine:
Survey and Prospects
- arxiv url: http://arxiv.org/abs/2311.02332v5
- Date: Sat, 20 Jan 2024 04:36:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 20:15:56.654257
- Title: Multimodal Machine Learning in Image-Based and Clinical Biomedicine:
Survey and Prospects
- Title(参考訳): 画像ベースおよび臨床バイオメディシンにおけるマルチモーダル機械学習:調査と展望
- Authors: Elisa Warner, Joonsang Lee, William Hsu, Tanveer Syeda-Mahmood,
Charles Kahn, Olivier Gevaert and Arvind Rao
- Abstract要約: 本稿では,臨床予測のためのマルチモーダルモデルの変換可能性について検討する。
進歩にもかかわらず、多くの生物医学領域におけるデータバイアスや「ビッグデータ」の不足といった課題が続いている。
- 参考スコア(独自算出の注目度): 2.1070612998322438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) applications in medical artificial intelligence (AI)
systems have shifted from traditional and statistical methods to increasing
application of deep learning models. This survey navigates the current
landscape of multimodal ML, focusing on its profound impact on medical image
analysis and clinical decision support systems. Emphasizing challenges and
innovations in addressing multimodal representation, fusion, translation,
alignment, and co-learning, the paper explores the transformative potential of
multimodal models for clinical predictions. It also highlights the need for
principled assessments and practical implementation of such models, bringing
attention to the dynamics between decision support systems and healthcare
providers and personnel. Despite advancements, challenges such as data biases
and the scarcity of "big data" in many biomedical domains persist. We conclude
with a discussion on principled innovation and collaborative efforts to further
the mission of seamless integration of multimodal ML models into biomedical
practice.
- Abstract(参考訳): 医療人工知能(AI)システムにおける機械学習(ML)の応用は、伝統的な統計手法からディープラーニングモデルの適用の増加へと移行している。
本研究は,マルチモーダルmlの現状を概観し,医療画像解析と臨床意思決定支援システムへの深い影響に注目した。
マルチモーダル表現,融合,翻訳,アライメント,コラーニングの課題とイノベーションを強調し,臨床予測のためのマルチモーダルモデルの変換可能性について検討した。
また、このようなモデルの原則的評価と実践的実装の必要性を強調し、意思決定支援システムと医療提供者と職員のダイナミクスに注意を向ける。
進歩にもかかわらず、多くの生物医学領域におけるデータバイアスや「ビッグデータ」の不足といった課題が続いている。
我々は,マルチモーダルMLモデルのバイオメディカル実践へのシームレスな統合のミッションをさらに進めるための,原則的イノベーションと協調的な取り組みに関する議論を締めくくった。
関連論文リスト
- Training Small Multimodal Models to Bridge Biomedical Competency Gap: A
Case Study in Radiology Imaging [114.43429928419755]
バイオメディカル・コンピテンシー・ギャップを橋渡しするオープンソース小型マルチモーダル・モデル(SMM)の訓練について検討する。
LLaVA-Radは高速で、単一のV100 GPU上でプライベート設定で実行できる。
論文 参考訳(メタデータ) (2024-03-12T18:12:02Z) - Review of multimodal machine learning approaches in healthcare [0.0]
臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。
機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
論文 参考訳(メタデータ) (2024-02-04T12:21:38Z) - Enhancing Representation in Medical Vision-Language Foundation Models
via Multi-Scale Information Extraction Techniques [41.078761802053535]
本稿では,医療基盤モデルの性能向上のために,マルチスケール情報を効果的に活用する手法を提案する。
本研究では,6つのオープンソースデータセットに対する提案手法の有効性について検討した。
論文 参考訳(メタデータ) (2024-01-03T07:22:54Z) - HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。
HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - Towards Generalist Biomedical AI [28.68106423175678]
我々は,汎用バイオメディカルAIシステムの概念実証であるMed-PaLM Multimodal(Med-PaLM M)を紹介する。
Med-PaLM Mは、バイオメディカルデータを柔軟にエンコードし解釈する大規模なマルチモーダル生成モデルである。
モデル生成(およびヒト)胸部X線検査の放射線学的評価を行い, モデルスケールでの性能向上を観察した。
論文 参考訳(メタデータ) (2023-07-26T17:52:22Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-01T16:23:47Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳(メタデータ) (2022-03-03T20:52:47Z) - Network Module Detection from Multi-Modal Node Features with a Greedy
Decision Forest for Actionable Explainable AI [0.0]
本研究では,Greedy Decision Forest を用いたマルチモーダルノード特徴に基づくサブネットワーク検出について述べる。
私たちのガラスボックスアプローチは、がんなどの疾患をよりよく理解するために、マルチオミクスデータから病気を引き起こすネットワークモジュールを明らかにするのに役立ちます。
論文 参考訳(メタデータ) (2021-08-26T09:42:44Z) - Domain Shift in Computer Vision models for MRI data analysis: An
Overview [64.69150970967524]
機械学習とコンピュータビジョン手法は、医用画像解析において優れた性能を示している。
しかし、現在臨床応用はごくわずかである。
異なるソースや取得ドメインのデータへのモデルの不適切な転送性は、その理由の1つです。
論文 参考訳(メタデータ) (2020-10-14T16:34:21Z) - Machine Learning in Nano-Scale Biomedical Engineering [77.75587007080894]
ナノスケールバイオメディカルエンジニアリングにおける機械学習の利用に関する既存の研究について概説する。
ML問題として定式化できる主な課題は、3つの主要なカテゴリに分類される。
提示された方法論のそれぞれについて、その原則、応用、制限に特に重点を置いている。
論文 参考訳(メタデータ) (2020-08-05T15:45:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。