論文の概要: Multimodal Machine Learning for Clinically-Assistive Imaging-Based
Biomedical Applications
- arxiv url: http://arxiv.org/abs/2311.02332v1
- Date: Sat, 4 Nov 2023 05:42:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 18:06:41.046255
- Title: Multimodal Machine Learning for Clinically-Assistive Imaging-Based
Biomedical Applications
- Title(参考訳): 臨床補助イメージングに基づくバイオメディカル応用のためのマルチモーダル機械学習
- Authors: Elisa Warner, Joonsang Lee, William Hsu, Tanveer Syeda-Mahmood,
Charles Kahn, and Arvind Rao
- Abstract要約: 医療人工知能(AI)システムにおける機械学習(ML)の応用は、伝統的および統計的手法から、ディープラーニングモデルやより最近の生成モデルの適用の増大へと移行してきた。
近年,特に画像を用いたマルチモーダルデータ統合をサポートする,広く利用可能なディープラーニングアーキテクチャの発見が増えている。
本稿では、ML(representation, fusion, alignment, translation, co-learning)に関連するマルチモーダルAIに対する5つの課題について論じ、医療画像に基づく臨床意思決定モデルにおいて、これらの課題に対処するための最近のアプローチについて調査する。
- 参考スコア(独自算出の注目度): 1.447341711917488
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning (ML) applications in medical artificial intelligence (AI)
systems have shifted from traditional and statistical methods to increasing
application of deep learning models and even more recently generative models.
Recent years have seen a rise in the discovery of widely-available deep
learning architectures that support multimodal data integration, particularly
with images. The incorporation of multiple modalities into these models is a
thriving research topic, presenting its own unique challenges. In this work, we
discuss five challenges to multimodal AI as it pertains to ML (representation,
fusion, alignment, translation, and co-learning) and survey recent approaches
to addressing these challenges in the context of medical image-based clinical
decision support models. We conclude with a discussion of the future of the
field, suggesting directions that should be elucidated further for successful
clinical models and their translation to the clinical setting.
- Abstract(参考訳): 医療人工知能(AI)システムにおける機械学習(ML)の応用は、伝統的および統計的手法から、ディープラーニングモデルやより最近の生成モデルの適用の増加へと移行してきた。
近年,特に画像を用いたマルチモーダルデータ統合をサポートする,広く利用可能なディープラーニングアーキテクチャの発見が増えている。
これらのモデルに複数のモダリティを組み込むことは、独自の課題を示す、繁栄する研究トピックである。
本稿では、ML(representation, fusion, alignment, translation, co-learning)に関連するマルチモーダルAIに対する5つの課題について論じ、医療画像に基づく臨床意思決定モデルにおけるこれらの課題に対処するための最近のアプローチについて調査する。
結論として,この分野の将来について議論し,臨床モデルと臨床現場への翻訳についてさらに解明すべき方向性を示唆した。
関連論文リスト
- Automated Generation of High-Quality Medical Simulation Scenarios Through Integration of Semi-Structured Data and Large Language Models [0.0]
本研究では,半構造化データとLarge Language Models(LLMs)を統合することにより,医学教育の変革的枠組みを導入する。
提案手法はAIを用いて、特定の教育目的に合わせて、詳細な、臨床的に関係のあるシナリオを効率的に生成する。
論文 参考訳(メタデータ) (2024-04-30T17:06:11Z) - OpenMEDLab: An Open-source Platform for Multi-modality Foundation Models
in Medicine [55.29668193415034]
マルチモダリティ基盤モデルのためのオープンソースプラットフォームであるOpenMEDLabについて紹介する。
これは、最前線臨床および生体情報学応用のための大規模言語とビジョンモデルを刺激し、微調整する先駆的な試みの解決策をカプセル化する。
様々な医用画像のモダリティ、臨床テキスト、タンパク質工学など、事前訓練された基礎モデル群へのアクセスが可能である。
論文 参考訳(メタデータ) (2024-02-28T03:51:02Z) - Review of multimodal machine learning approaches in healthcare [0.0]
臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。
機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
論文 参考訳(メタデータ) (2024-02-04T12:21:38Z) - Enhancing Representation in Medical Vision-Language Foundation Models
via Multi-Scale Information Extraction Techniques [41.078761802053535]
本稿では,医療基盤モデルの性能向上のために,マルチスケール情報を効果的に活用する手法を提案する。
本研究では,6つのオープンソースデータセットに対する提案手法の有効性について検討した。
論文 参考訳(メタデータ) (2024-01-03T07:22:54Z) - HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。
HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-01T16:23:47Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - DIME: Fine-grained Interpretations of Multimodal Models via Disentangled
Local Explanations [119.1953397679783]
我々は,マルチモーダルモデルの解釈における最先端化に注力する。
提案手法であるDIMEは,マルチモーダルモデルの高精度かつきめ細かな解析を可能にする。
論文 参考訳(メタデータ) (2022-03-03T20:52:47Z) - Network Module Detection from Multi-Modal Node Features with a Greedy
Decision Forest for Actionable Explainable AI [0.0]
本研究では,Greedy Decision Forest を用いたマルチモーダルノード特徴に基づくサブネットワーク検出について述べる。
私たちのガラスボックスアプローチは、がんなどの疾患をよりよく理解するために、マルチオミクスデータから病気を引き起こすネットワークモジュールを明らかにするのに役立ちます。
論文 参考訳(メタデータ) (2021-08-26T09:42:44Z) - Domain Shift in Computer Vision models for MRI data analysis: An
Overview [64.69150970967524]
機械学習とコンピュータビジョン手法は、医用画像解析において優れた性能を示している。
しかし、現在臨床応用はごくわずかである。
異なるソースや取得ドメインのデータへのモデルの不適切な転送性は、その理由の1つです。
論文 参考訳(メタデータ) (2020-10-14T16:34:21Z) - Machine Learning in Nano-Scale Biomedical Engineering [77.75587007080894]
ナノスケールバイオメディカルエンジニアリングにおける機械学習の利用に関する既存の研究について概説する。
ML問題として定式化できる主な課題は、3つの主要なカテゴリに分類される。
提示された方法論のそれぞれについて、その原則、応用、制限に特に重点を置いている。
論文 参考訳(メタデータ) (2020-08-05T15:45:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。