論文の概要: Deep Multi-modal Fusion of Image and Non-image Data in Disease Diagnosis and Prognosis: A Review

• arxiv url: http://arxiv.org/abs/2203.15588v1
• Date: Fri, 25 Mar 2022 18:50:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-03 06:11:43.042678
• Title: Deep Multi-modal Fusion of Image and Non-image Data in Disease Diagnosis and Prognosis: A Review
• Title（参考訳）: 画像と非画像データの深部マルチモーダル融合による疾患診断と予後の検討
• Authors: Can Cui, Haichun Yang, Yaohong Wang, Shilin Zhao, Zuhayr Asad, Lori A. Coburn, Keith T. Wilson, Bennett A. Landman, and Yuankai Huo
• Abstract要約: 医療における診断技術の急速な発展は、医師が日常的に発生する異質で相補的なデータを扱い、統合することの要求が高まっている。 近年のマルチモーダルディープラーニング技術の発展に伴い、我々はどのようにして多モーダル情報を抽出して集約し、究極的にはより客観的で定量的なコンピュータ支援の臨床的意思決定を提供するかという重要な疑問に、ますます多くの努力が注がれている。 本総説では,(1)現在のマルチモーダル・ラーニングの概要,(2)マルチモーダル・フュージョン法の要約,(3)パフォーマンスの議論,(4)疾患診断と予後の応用,(5)課題と将来について概説する。
• 参考スコア（独自算出の注目度）: 8.014632186417423
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid development of diagnostic technologies in healthcare is leading to higher requirements for physicians to handle and integrate the heterogeneous, yet complementary data that are produced during routine practice. For instance, the personalized diagnosis and treatment planning for a single cancer patient relies on the various images (e.g., radiological, pathological, and camera images) and non-image data (e.g., clinical data and genomic data). However, such decision-making procedures can be subjective, qualitative, and have large inter-subject variabilities. With the recent advances in multi-modal deep learning technologies, an increasingly large number of efforts have been devoted to a key question: how do we extract and aggregate multi-modal information to ultimately provide more objective, quantitative computer-aided clinical decision making? This paper reviews the recent studies on dealing with such a question. Briefly, this review will include the (1) overview of current multi-modal learning workflows, (2) summarization of multi-modal fusion methods, (3) discussion of the performance, (4) applications in disease diagnosis and prognosis, and (5) challenges and future directions.
• Abstract（参考訳）: 医療における診断技術の急速な発展は、医師が日常的に発生する異質で相補的なデータを扱い、統合することの要求が高まっている。 例えば、がん患者のパーソナライズされた診断と治療計画は、様々な画像(例えば、放射線画像、病理画像、カメラ画像)と非画像データ(例えば、臨床データ、ゲノムデータ)に依存している。 しかし、そのような意思決定手順は主観的、質的であり、主観的変数が大きい。 最近のマルチモーダル深層学習技術の進歩により、ますます多くの取り組みが鍵となる質問に費やされている: 客観的で定量的な臨床意思決定を提供するために、マルチモーダル情報を抽出し集約するにはどうすればよいのか? 本稿では,このような問題に対する最近の研究を概観する。 本稿では,(1)現在のマルチモーダル・ラーニング・ワークフローの概要,(2)マルチモーダル・フュージョン・メソッドの要約,(3)パフォーマンスの議論,(4)疾患診断と予後の応用,(5)課題と今後の方向性について概説する。

関連論文リスト

• Personalized 2D Binary Patient Codes of Tissue Images and Immunogenomic Data Through Multimodal Self-Supervised Fusion [0.9374652839580183]
  MarbliXは、病理組織像と免疫ゲノムシークエンシングデータを統合し、それらを簡潔なバイナリー患者コードにカプセル化する革新的なフレームワークである。 実験の結果は、医療専門家に深い洞察を与えるMarbliXの可能性を示している。
  論文  参考訳（メタデータ） (2024-09-19T22:49:27Z)
• Automated Ensemble Multimodal Machine Learning for Healthcare [52.500923923797835]
  本稿では,自動機械学習を用いた構造化臨床(タブラル)データと医用画像の統合を実現するマルチモーダルフレームワークAutoPrognosis-Mを紹介する。 AutoPrognosis-Mには、畳み込みニューラルネットワークとビジョントランスフォーマーを含む17のイメージングモデルと、3つの異なるマルチモーダル融合戦略が含まれている。
  論文  参考訳（メタデータ） (2024-07-25T17:46:38Z)
• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• Advancing Histopathology-Based Breast Cancer Diagnosis: Insights into Multi-Modality and Explainability [2.8145472964232137]
  マルチモーダル技術を用いて、画像データと非画像データを統合することで、乳癌の診断における変革的な進歩を示す。 本稿では,マルチモーダルデータを用いて診断精度,臨床信頼度,患者のエンゲージメントを高めるための説明性を強調する。
  論文  参考訳（メタデータ） (2024-06-07T19:23:22Z)
• Practical Applications of Advanced Cloud Services and Generative AI Systems in Medical Image Analysis [17.4235794108467]
  本稿では、医用画像における生成AIの変換可能性について考察し、合成ACM-2データを生成する能力を強調した。 データセットのサイズと多様性の制限に対処することにより、これらのモデルはより正確な診断と患者の結果の改善に寄与する。
  論文  参考訳（メタデータ） (2024-03-26T09:55:49Z)
• QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge [93.61262892578067]
  医用画像分割作業の不確実性、特にラター間変動性は重要な課題である。 この可変性は、自動セグメンテーションアルゴリズムの開発と評価に直接影響を及ぼす。 バイオメディカル画像量化チャレンジ(QUBIQ)における不確実性の定量化のベンチマーク結果を報告する。
  論文  参考訳（メタデータ） (2024-03-19T17:57:24Z)
• Optimizing Skin Lesion Classification via Multimodal Data and Auxiliary Task Integration [54.76511683427566]
  本研究は, スマートフォンで撮影した画像と本質的な臨床および人口統計情報を統合することで, 皮膚病変を分類する新しいマルチモーダル手法を提案する。 この手法の特徴は、超高解像度画像予測に焦点を当てた補助的なタスクの統合である。 PAD-UFES20データセットを用いて,様々なディープラーニングアーキテクチャを用いて実験を行った。
  論文  参考訳（メタデータ） (2024-02-16T05:16:20Z)
• Validating polyp and instrument segmentation methods in colonoscopy through Medico 2020 and MedAI 2021 Challenges [58.32937972322058]
  メディコオートマチックポリープセグメンテーション(Medico 2020)と「メディコ:医療画像の透明性(MedAI 2021)」コンペティション。 本報告では, それぞれのコントリビューションを包括的に分析し, ベストパフォーマンスメソッドの強さを強調し, クリニックへの臨床翻訳の可能性について考察する。
  論文  参考訳（メタデータ） (2023-07-30T16:08:45Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• Improved Multimodal Fusion for Small Datasets with Auxiliary Supervision [3.8750633583374143]
  小型データセットによるマルチモーダル融合を改善するための3つの簡単な方法を提案する。 提案手法は実装が簡単で,画像と非画像のデータを用いた任意の分類タスクに適用可能である。
  論文  参考訳（メタデータ） (2023-04-01T20:07:10Z)
• Multi-Modality Cardiac Image Computing: A Survey [18.92646939242613]
  多モード心電図は心血管疾患患者の管理において重要な役割を担っている。 多モード心画像の完全自動処理と定量的解析は、臨床研究とエビデンスに基づく患者管理に直接的な影響を与える可能性がある。
  論文  参考訳（メタデータ） (2022-08-26T22:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。