論文の概要: Deep Multi-modal Fusion of Image and Non-image Data in Disease Diagnosis
and Prognosis: A Review
- arxiv url: http://arxiv.org/abs/2203.15588v1
- Date: Fri, 25 Mar 2022 18:50:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-03 06:11:43.042678
- Title: Deep Multi-modal Fusion of Image and Non-image Data in Disease Diagnosis
and Prognosis: A Review
- Title(参考訳): 画像と非画像データの深部マルチモーダル融合による疾患診断と予後の検討
- Authors: Can Cui, Haichun Yang, Yaohong Wang, Shilin Zhao, Zuhayr Asad, Lori A.
Coburn, Keith T. Wilson, Bennett A. Landman, and Yuankai Huo
- Abstract要約: 医療における診断技術の急速な発展は、医師が日常的に発生する異質で相補的なデータを扱い、統合することの要求が高まっている。
近年のマルチモーダルディープラーニング技術の発展に伴い、我々はどのようにして多モーダル情報を抽出して集約し、究極的にはより客観的で定量的なコンピュータ支援の臨床的意思決定を提供するかという重要な疑問に、ますます多くの努力が注がれている。
本総説では,(1)現在のマルチモーダル・ラーニングの概要,(2)マルチモーダル・フュージョン法の要約,(3)パフォーマンスの議論,(4)疾患診断と予後の応用,(5)課題と将来について概説する。
- 参考スコア(独自算出の注目度): 8.014632186417423
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid development of diagnostic technologies in healthcare is leading to
higher requirements for physicians to handle and integrate the heterogeneous,
yet complementary data that are produced during routine practice. For instance,
the personalized diagnosis and treatment planning for a single cancer patient
relies on the various images (e.g., radiological, pathological, and camera
images) and non-image data (e.g., clinical data and genomic data). However,
such decision-making procedures can be subjective, qualitative, and have large
inter-subject variabilities. With the recent advances in multi-modal deep
learning technologies, an increasingly large number of efforts have been
devoted to a key question: how do we extract and aggregate multi-modal
information to ultimately provide more objective, quantitative computer-aided
clinical decision making? This paper reviews the recent studies on dealing with
such a question. Briefly, this review will include the (1) overview of current
multi-modal learning workflows, (2) summarization of multi-modal fusion
methods, (3) discussion of the performance, (4) applications in disease
diagnosis and prognosis, and (5) challenges and future directions.
- Abstract(参考訳): 医療における診断技術の急速な発展は、医師が日常的に発生する異質で相補的なデータを扱い、統合することの要求が高まっている。
例えば、がん患者のパーソナライズされた診断と治療計画は、様々な画像(例えば、放射線画像、病理画像、カメラ画像)と非画像データ(例えば、臨床データ、ゲノムデータ)に依存している。
しかし、そのような意思決定手順は主観的、質的であり、主観的変数が大きい。
最近のマルチモーダル深層学習技術の進歩により、ますます多くの取り組みが鍵となる質問に費やされている: 客観的で定量的な臨床意思決定を提供するために、マルチモーダル情報を抽出し集約するにはどうすればよいのか?
本稿では,このような問題に対する最近の研究を概観する。
本稿では,(1)現在のマルチモーダル・ラーニング・ワークフローの概要,(2)マルチモーダル・フュージョン・メソッドの要約,(3)パフォーマンスの議論,(4)疾患診断と予後の応用,(5)課題と今後の方向性について概説する。
関連論文リスト
- Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary
Task Integration [54.76511683427566]
本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。
この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。
PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
論文 参考訳(メタデータ) (2024-02-16T05:16:20Z) - Review of multimodal machine learning approaches in healthcare [0.0]
臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。
機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
論文 参考訳(メタデータ) (2024-02-04T12:21:38Z) - Large-scale Long-tailed Disease Diagnosis on Radiology Images [59.37561810438641]
本研究では,放射線画像における大規模大語彙疾患分類の問題点について検討する。
i)データセット構築では、39,026ケース(192,675スキャン)を含む930のユニークなICD-10-CMコードとリンクした5568の障害を含む、学術的にアクセス可能な大規模診断データセットを構築します。
さらに,本研究の最終モデルは事前学習モデルとして機能し,様々な外部データセットの診断に役立てることができる。
論文 参考訳(メタデータ) (2023-12-26T18:20:48Z) - An objective validation of polyp and instrument segmentation methods in
colonoscopy through Medico 2020 polyp segmentation and MedAI 2021
transparency challenges [58.402720481042365]
メディコオートマチックポリープセグメンテーション(Medico 2020)と「メディコ:医療画像の透明性(MedAI 2021)」コンペティション。
本報告では, それぞれのコントリビューションを包括的に分析し, ベストパフォーマンスメソッドの強さを強調し, クリニックへの臨床翻訳の可能性について考察する。
論文 参考訳(メタデータ) (2023-07-30T16:08:45Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - Improved Multimodal Fusion for Small Datasets with Auxiliary Supervision [3.8750633583374143]
小型データセットによるマルチモーダル融合を改善するための3つの簡単な方法を提案する。
提案手法は実装が簡単で,画像と非画像のデータを用いた任意の分類タスクに適用可能である。
論文 参考訳(メタデータ) (2023-04-01T20:07:10Z) - Medical Diagnosis with Large Scale Multimodal Transformers: Leveraging
Diverse Data for More Accurate Diagnosis [0.15776842283814416]
我々は「学習可能なシナジー」の新しい技術的アプローチを提案する。
我々のアプローチは容易に拡張可能であり、臨床ルーチンからのマルチモーダルデータ入力に自然に適応する。
臨床的に関連のある診断タスクにおいて、最先端のモデルよりも優れています。
論文 参考訳(メタデータ) (2022-12-18T20:43:37Z) - Artificial Intelligence-Based Methods for Fusion of Electronic Health
Records and Imaging Data [0.9749560288448113]
我々は、AI技術を用いて、異なる臨床応用のためにマルチモーダル医療データを融合する文献の合成と分析に重点を置いている。
本報告では, 各種核融合戦略, マルチモーダル核融合を用いた疾患, 臨床成績, 利用可能なマルチモーダル医療データセットを包括的に分析する。
論文 参考訳(メタデータ) (2022-10-23T07:13:37Z) - Multi-Modality Cardiac Image Computing: A Survey [18.92646939242613]
多モード心電図は心血管疾患患者の管理において重要な役割を担っている。
多モード心画像の完全自動処理と定量的解析は、臨床研究とエビデンスに基づく患者管理に直接的な影響を与える可能性がある。
論文 参考訳(メタデータ) (2022-08-26T22:19:50Z) - Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。
これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。
テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
論文 参考訳(メタデータ) (2020-10-20T20:05:35Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳(メタデータ) (2020-10-09T14:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。