論文の概要: Medical Diagnosis with Large Scale Multimodal Transformers -- Leveraging Diverse Data for More Accurate Diagnosis

• arxiv url: http://arxiv.org/abs/2212.09162v1
• Date: Sun, 18 Dec 2022 20:43:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-20 15:18:58.162585
• Title: Medical Diagnosis with Large Scale Multimodal Transformers -- Leveraging Diverse Data for More Accurate Diagnosis
• Title（参考訳）: 大規模マルチモーダル変圧器による医療診断--より正確な診断に多様なデータを活用する
• Authors: Firas Khader, Gustav Mueller-Franzes, Tianci Wang, Tianyu Han, Soroosh Tayebi Arasteh, Christoph Haarburger, Johannes Stegmaier, Keno Bressem, Christiane Kuhl, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn
• Abstract要約: 我々は「学習可能なシナジー」の新しい技術的アプローチを提案する。 我々のアプローチは容易に拡張可能であり、臨床ルーチンからのマルチモーダルデータ入力に自然に適応する。 臨床的に関連のある診断タスクにおいて、最先端のモデルよりも優れています。
• 参考スコア（独自算出の注目度）: 0.15776842283814416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal deep learning has been used to predict clinical endpoints and diagnoses from clinical routine data. However, these models suffer from scaling issues: they have to learn pairwise interactions between each piece of information in each data type, thereby escalating model complexity beyond manageable scales. This has so far precluded a widespread use of multimodal deep learning. Here, we present a new technical approach of "learnable synergies", in which the model only selects relevant interactions between data modalities and keeps an "internal memory" of relevant data. Our approach is easily scalable and naturally adapts to multimodal data inputs from clinical routine. We demonstrate this approach on three large multimodal datasets from radiology and ophthalmology and show that it outperforms state-of-the-art models in clinically relevant diagnosis tasks. Our new approach is transferable and will allow the application of multimodal deep learning to a broad set of clinically relevant problems.
• Abstract（参考訳）: マルチモーダルディープラーニングは臨床の終端を予測し、臨床のルーチンデータから診断するために使われてきた。 それぞれのデータタイプ内の各情報片間のペアリーなインタラクションを学ぶ必要があるため、管理可能なスケールを超えてモデルの複雑さをエスカレートする必要がある。 これにより、マルチモーダルディープラーニングが広く使われるようになった。 本稿では,データモダリティ間の関係的な相互作用のみを選択し,関連するデータの「内部記憶」を保持する「学習可能なシナジー」という新しい技術手法を提案する。 我々のアプローチは容易に拡張可能であり、臨床ルーチンからのマルチモーダルデータ入力に自然に適応する。 このアプローチを放射線学と眼科の3つの大きなマルチモーダルデータセットで実証し,臨床的に関連する診断課題において最先端のモデルを上回ることを示した。 当社の新しいアプローチはトランスファー可能であり、マルチモーダルディープラーニングを幅広い臨床関連の問題に適用することができる。

関連論文リスト

• UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
  UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。 このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。 UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
  論文  参考訳（メタデータ） (2024-09-26T12:13:52Z)
• Multi-OCT-SelfNet: Integrating Self-Supervised Learning with Multi-Source Data Fusion for Enhanced Multi-Class Retinal Disease Classification [2.5091334993691206]
  網膜疾患診断のための堅牢なディープラーニングモデルの開発には、トレーニングのためのかなりのデータセットが必要である。 より小さなデータセットで効果的に一般化する能力は、依然として永続的な課題である。 さまざまなデータソースを組み合わせて、パフォーマンスを改善し、新しいデータに一般化しています。
  論文  参考訳（メタデータ） (2024-09-17T17:22:35Z)
• Review of multimodal machine learning approaches in healthcare [0.0]
  臨床医は、情報的な判断をするために、さまざまなデータソースに依存しています。 機械学習の最近の進歩は、より効率的なマルチモーダルデータの取り込みを促進する。
  論文  参考訳（メタデータ） (2024-02-04T12:21:38Z)
• HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
  本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。 The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。 HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-15T17:06:26Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
  肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。 本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。 テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
  論文  参考訳（メタデータ） (2022-02-09T04:12:30Z)
• Relational Subsets Knowledge Distillation for Long-tailed Retinal Diseases Recognition [65.77962788209103]
  本研究では,長尾データを知識に基づいて複数のクラスサブセットに分割し,クラスサブセット学習を提案する。 モデルがサブセット固有の知識の学習に集中するように強制する。 提案手法は長期網膜疾患認識タスクに有効であることが判明した。
  論文  参考訳（メタデータ） (2021-04-22T13:39:33Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。