論文の概要: Medical Diagnosis with Large Scale Multimodal Transformers: Leveraging
Diverse Data for More Accurate Diagnosis
- arxiv url: http://arxiv.org/abs/2212.09162v2
- Date: Tue, 20 Dec 2022 10:06:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 14:17:51.064667
- Title: Medical Diagnosis with Large Scale Multimodal Transformers: Leveraging
Diverse Data for More Accurate Diagnosis
- Title(参考訳): 大規模マルチモーダル変圧器を用いた医療診断 : より正確な診断に多様なデータを活用する
- Authors: Firas Khader, Gustav Mueller-Franzes, Tianci Wang, Tianyu Han, Soroosh
Tayebi Arasteh, Christoph Haarburger, Johannes Stegmaier, Keno Bressem,
Christiane Kuhl, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn
- Abstract要約: 我々は「学習可能なシナジー」の新しい技術的アプローチを提案する。
我々のアプローチは容易に拡張可能であり、臨床ルーチンからのマルチモーダルデータ入力に自然に適応する。
臨床的に関連のある診断タスクにおいて、最先端のモデルよりも優れています。
- 参考スコア(独自算出の注目度): 0.15776842283814416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal deep learning has been used to predict clinical endpoints and
diagnoses from clinical routine data. However, these models suffer from scaling
issues: they have to learn pairwise interactions between each piece of
information in each data type, thereby escalating model complexity beyond
manageable scales. This has so far precluded a widespread use of multimodal
deep learning. Here, we present a new technical approach of "learnable
synergies", in which the model only selects relevant interactions between data
modalities and keeps an "internal memory" of relevant data. Our approach is
easily scalable and naturally adapts to multimodal data inputs from clinical
routine. We demonstrate this approach on three large multimodal datasets from
radiology and ophthalmology and show that it outperforms state-of-the-art
models in clinically relevant diagnosis tasks. Our new approach is transferable
and will allow the application of multimodal deep learning to a broad set of
clinically relevant problems.
- Abstract(参考訳): マルチモーダルディープラーニングは臨床の終端を予測し、臨床のルーチンデータから診断するために使われてきた。
それぞれのデータタイプ内の各情報片間のペアリーなインタラクションを学ぶ必要があるため、管理可能なスケールを超えてモデルの複雑さをエスカレートする必要がある。
これにより、マルチモーダルディープラーニングが広く使われるようになった。
本稿では,データモダリティ間の関係的な相互作用のみを選択し,関連するデータの「内部記憶」を保持する「学習可能なシナジー」という新しい技術手法を提案する。
我々のアプローチは容易に拡張可能であり、臨床ルーチンからのマルチモーダルデータ入力に自然に適応する。
このアプローチを放射線学と眼科の3つの大きなマルチモーダルデータセットで実証し,臨床的に関連する診断課題において最先端のモデルを上回ることを示した。
当社の新しいアプローチはトランスファー可能であり、マルチモーダルディープラーニングを幅広い臨床関連の問題に適用することができる。
関連論文リスト
- Review of multimodal machine learning approaches in healthcare [0.0]
臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。
機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
論文 参考訳(メタデータ) (2024-02-04T12:21:38Z) - Multi-Modal Federated Learning for Cancer Staging over Non-IID Datasets
with Unbalanced Modalities [10.352288752713413]
本研究では,データサンプルの不均一性に対応する新しいFLアーキテクチャを提案する。
FLシステム内の様々なデータモダリティにまたがる様々な収束速度に関する課題に光を当てた。
本手法の優位性を示すために,The Cancer Genome Atlas program (TCGA) datalake を用いて実験を行った。
論文 参考訳(メタデータ) (2024-01-07T23:45:01Z) - Large-scale Long-tailed Disease Diagnosis on Radiology Images [59.37561810438641]
本研究では,放射線画像における大規模大語彙疾患分類の問題点について検討する。
i)データセット構築では、39,026ケース(192,675スキャン)を含む930のユニークなICD-10-CMコードとリンクした5568の障害を含む、学術的にアクセス可能な大規模診断データセットを構築します。
さらに,本研究の最終モデルは事前学習モデルとして機能し,様々な外部データセットの診断に役立てることができる。
論文 参考訳(メタデータ) (2023-12-26T18:20:48Z) - HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。
HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - A Transformer-based representation-learning model with unified
processing of multimodal input for clinical diagnostics [63.106382317917344]
本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。
統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
論文 参考訳(メタデータ) (2023-06-01T16:23:47Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - Artificial Intelligence-Based Methods for Fusion of Electronic Health
Records and Imaging Data [0.9749560288448113]
我々は、AI技術を用いて、異なる臨床応用のためにマルチモーダル医療データを融合する文献の合成と分析に重点を置いている。
本報告では, 各種核融合戦略, マルチモーダル核融合を用いた疾患, 臨床成績, 利用可能なマルチモーダル医療データセットを包括的に分析する。
論文 参考訳(メタデータ) (2022-10-23T07:13:37Z) - MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。
本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。
テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
論文 参考訳(メタデータ) (2022-02-09T04:12:30Z) - Relational Subsets Knowledge Distillation for Long-tailed Retinal
Diseases Recognition [65.77962788209103]
本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。
モデルがサブセット固有の知識の学習に集中するように強制する。
提案手法は長期網膜疾患認識タスクに有効であることが判明した。
論文 参考訳(メタデータ) (2021-04-22T13:39:33Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。