論文の概要: Cascaded Multi-Modal Mixing Transformers for Alzheimer's Disease Classification with Incomplete Data

• arxiv url: http://arxiv.org/abs/2210.00255v1
• Date: Sat, 1 Oct 2022 11:31:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 16:55:26.040721
• Title: Cascaded Multi-Modal Mixing Transformers for Alzheimer's Disease Classification with Incomplete Data
• Title（参考訳）: 不完全データを用いたアルツハイマー病分類用多モード混合変圧器
• Authors: Linfeng Liu, Siyu Liu, Lu Zhang, Xuan Vinh To, Fatima Nasrallah, Shekhar S. Chandra
• Abstract要約: マルチモーダルデータに基づく疾患分類のための新しいトランスであるMulti-Modal Mixing Transformer (3MT)を提案する。 このモデルは、クロスアテンションを持つ新しいCascaded Modality Transformersアーキテクチャを使用して、より情報のある予測にマルチモーダル情報を組み込む。 3MTはADNIデータセットで最初にテストされ、0.987pm0.0006$の最先端のテスト精度を達成した。
• 参考スコア（独自算出の注目度）: 8.536869574065195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate medical classification requires a large number of multi-modal data, and in many cases, in different formats. Previous studies have shown promising results when using multi-modal data, outperforming single-modality models on when classifying disease such as AD. However, those models are usually not flexible enough to handle missing modalities. Currently, the most common workaround is excluding samples with missing modalities which leads to considerable data under-utilisation. Adding to the fact that labelled medical images are already scarce, the performance of data-driven methods like deep learning is severely hampered. Therefore, a multi-modal method that can gracefully handle missing data in various clinical settings is highly desirable. In this paper, we present the Multi-Modal Mixing Transformer (3MT), a novel Transformer for disease classification based on multi-modal data. In this work, we test it for \ac{AD} or \ac{CN} classification using neuroimaging data, gender, age and MMSE scores. The model uses a novel Cascaded Modality Transformers architecture with cross-attention to incorporate multi-modal information for more informed predictions. Auxiliary outputs and a novel modality dropout mechanism were incorporated to ensure an unprecedented level of modality independence and robustness. The result is a versatile network that enables the mixing of an unlimited number of modalities with different formats and full data utilization. 3MT was first tested on the ADNI dataset and achieved state-of-the-art test accuracy of $0.987\pm0.0006$. To test its generalisability, 3MT was directly applied to the AIBL after training on the ADNI dataset, and achieved a test accuracy of $0.925\pm0.0004$ without fine-tuning. Finally, we show that Grad-CAM visualizations are also possible with our model for explainable results.
• Abstract（参考訳）: 正確な医療分類には多数のマルチモーダルデータが必要である。 これまでの研究では、ADなどの疾患の分類において、マルチモーダルデータを使用することで、単一モーダルモデルよりも優れた結果が得られた。 しかし、これらのモデルは通常、欠落したモダリティを扱うのに十分な柔軟性がない。 現在、最も一般的な回避策は、未使用のサンプルを除外し、使用中のかなりのデータを生み出すことである。 ラベル付き医療画像がすでに不足していることに加えて、ディープラーニングのようなデータ駆動型手法のパフォーマンスは著しく阻害されている。 したがって,様々な臨床場面で欠如したデータを優雅に処理できるマルチモーダル法が望まれる。 本稿では,マルチモーダルデータに基づく疾患分類のための新しい変圧器であるマルチモーダル混合トランス(3mt)について述べる。 本研究では,神経画像データ,性別,年齢,MMSEスコアを用いて,ac{AD} または \ac{CN} の分類を行う。 このモデルは、クロスアテンションを持つ新しいCascaded Modality Transformersアーキテクチャを使用して、より情報のある予測にマルチモーダル情報を組み込む。 補助出力と新しいモダリティドロップアウト機構が組み込まれ、前例のないモダリティの独立性と堅牢性が保証された。 その結果、さまざまなフォーマットと完全なデータ利用で無制限のモダリティを混合できる汎用ネットワークが誕生した。 3MTはADNIデータセットで最初にテストされ、0.987\pm0.0006$の最先端のテスト精度を達成した。 汎用性をテストするため、3MTはADNIデータセットのトレーニング後にAIBLに直接適用され、微調整なしで0.925\pm0.0004$のテスト精度を達成した。 最後に,本モデルではGrad-CAMの可視化も可能であることを示す。

関連論文リスト

• TabDiff: a Multi-Modal Diffusion Model for Tabular Data Generation [91.50296404732902]
  1つのモデルで表データのマルチモーダル分布をモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• HyperMM : Robust Multimodal Learning with Varying-sized Inputs [4.377889826841039]
  HyperMMは、さまざまなサイズの入力で学習するために設計されたエンドツーエンドフレームワークである。 本稿では,条件付きハイパーネットワークを用いたユニバーサル特徴抽出器のトレーニング手法を提案する。 アルツハイマー病の診断と乳癌の分類の2つの課題において,本手法の利点を実験的に実証した。
  論文  参考訳（メタデータ） (2024-07-30T12:13:18Z)
• Towards Precision Healthcare: Robust Fusion of Time Series and Image Data [8.579651833717763]
  本稿では,データの種類毎に2つのエンコーダを用いて,視覚情報と時間情報の両方において複雑なパターンをモデル化する手法を提案する。 また、不均衡なデータセットに対処し、不確実性損失関数を使用し、改善した結果を得る。 本手法は,臨床応用におけるマルチモーダルディープラーニングの改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:18:13Z)
• Dynamic Multimodal Information Bottleneck for Multimodality Classification [26.65073424377933]
  本稿では,頑健な融合特徴表現を実現するための動的マルチモーダル情報ボトルネックフレームワークを提案する。 具体的には、情報ボトルネックモジュールは、融合機能におけるタスク関連情報やノイズをフィルタリングするのに役立ちます。 提案手法は最先端の手法を超越し, 大規模ノイズチャネルが存在する場合, 性能を維持できる唯一の手法である。
  論文  参考訳（メタデータ） (2023-11-02T08:34:08Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• DOCTOR: A Multi-Disease Detection Continual Learning Framework Based on Wearable Medical Sensors [3.088223994180069]
  ウェアラブル医療センサ(WMS)に基づく多相検出連続学習フレームワークであるDOCTORを提案する。 マルチヘッドディープニューラルネットワーク(DNN)とリプレイスタイルのCLアルゴリズムを採用している。 平均テスト精度は1.43倍、F1スコアは1.25倍、後方転送は0.41倍である。
  論文  参考訳（メタデータ） (2023-05-09T19:33:17Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Brain Image Synthesis with Unsupervised Multivariate Canonical CSC$\ell_4$Net [122.8907826672382]
  我々は,新しいCSC$ell_4$Netを用いて,イントレとイントラモーダルの両方にまたがる専用特徴を学習することを提案する。
  論文  参考訳（メタデータ） (2021-03-22T05:19:40Z)
• Medical data wrangling with sequential variational autoencoders [5.9207487081080705]
  本稿では,逐次変分オートエンコーダ(vaes)を用いた異種データ型とバースト欠落データを用いた医療データ記録のモデル化を提案する。 GP-VAEモデルより計算複雑性が低く,両指標を用いた場合,Shi-VAEが最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-03-12T10:59:26Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。