論文の概要: Efficiently Training Vision Transformers on Structural MRI Scans for
Alzheimer's Disease Detection
- arxiv url: http://arxiv.org/abs/2303.08216v1
- Date: Tue, 14 Mar 2023 20:18:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 15:42:32.160103
- Title: Efficiently Training Vision Transformers on Structural MRI Scans for
Alzheimer's Disease Detection
- Title(参考訳): アルツハイマー病検出のための構造MRIスキャンを用いた視覚変換器の訓練
- Authors: Nikhil J. Dhinagar, Sophia I. Thomopoulos, Emily Laltoo and Paul M.
Thompson
- Abstract要約: ビジョントランスフォーマー(ViT)は近年、コンピュータビジョンアプリケーションのためのCNNの代替として登場した。
難易度に基づいて,脳神経画像の下流タスクに対するViTアーキテクチャの変種を検証した。
合成および実MRIスキャンで事前訓練した微調整型視覚変換器モデルを用いて、5%と9-10%の性能向上を実現した。
- 参考スコア(独自算出の注目度): 2.359557447960552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuroimaging of large populations is valuable to identify factors that
promote or resist brain disease, and to assist diagnosis, subtyping, and
prognosis. Data-driven models such as convolutional neural networks (CNNs) have
increasingly been applied to brain images to perform diagnostic and prognostic
tasks by learning robust features. Vision transformers (ViT) - a new class of
deep learning architectures - have emerged in recent years as an alternative to
CNNs for several computer vision applications. Here we tested variants of the
ViT architecture for a range of desired neuroimaging downstream tasks based on
difficulty, in this case for sex and Alzheimer's disease (AD) classification
based on 3D brain MRI. In our experiments, two vision transformer architecture
variants achieved an AUC of 0.987 for sex and 0.892 for AD classification,
respectively. We independently evaluated our models on data from two benchmark
AD datasets. We achieved a performance boost of 5% and 9-10% upon fine-tuning
vision transformer models pre-trained on synthetic (generated by a latent
diffusion model) and real MRI scans, respectively. Our main contributions
include testing the effects of different ViT training strategies including
pre-training, data augmentation and learning rate warm-ups followed by
annealing, as pertaining to the neuroimaging domain. These techniques are
essential for training ViT-like models for neuroimaging applications where
training data is usually limited. We also analyzed the effect of the amount of
training data utilized on the test-time performance of the ViT via data-model
scaling curves.
- Abstract(参考訳): 大集団の神経イメージングは、脳疾患を促進または抵抗する因子を同定し、診断、サブタイプ、予後を助けるのに有用である。
畳み込みニューラルネットワーク(cnns)のようなデータ駆動モデルは、堅牢な特徴を学習することで診断と予後のタスクを実行するために脳画像にますます適用されている。
vision transformers (vit) - ディープラーニングアーキテクチャの新しいクラス - は近年、いくつかのコンピュータビジョンアプリケーションのためのcnnの代替として登場している。
そこで我々は,3次元脳MRIに基づく性差とアルツハイマー病(AD)分類の難易度に基づいて,所望の脳画像下流タスクに対するViTアーキテクチャの変種を検証した。
実験では,2種類の視覚トランスフォーマーアーキテクチャが,性別で0.987,AD分類で0.892のAUCを達成した。
2つのベンチマークADデータセットから得られたデータに基づいてモデルを独立に評価した。
合成(潜時拡散モデルにより生成)と実MRIスキャンを併用した微調整型視覚トランスフォーマーモデルを用いて, 5%, 9-10%の性能向上を実現した。
我々の主な貢献は、神経画像領域に関して、トレーニング前、データ拡張、学習率ウォームアップなどの異なるViTトレーニング戦略の効果のテストである。
これらの技術は、通常、トレーニングデータが制限されている神経イメージング応用のためのViTライクなモデルのトレーニングに不可欠である。
また、データモデルスケーリング曲線を用いて、トレーニングデータの利用量がViTのテスト時間性能に与える影響を解析した。
関連論文リスト
- The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳(メタデータ) (2023-09-13T10:40:41Z) - Video and Synthetic MRI Pre-training of 3D Vision Architectures for
Neuroimage Analysis [3.208731414009847]
トランスファーラーニングは、特定のタスクに適応するために、大規模なデータコーパスでディープラーニングモデルを事前訓練することを含む。
視覚変換器 (ViTs) と畳み込みニューラルネットワーク (CNNs) のベンチマークを行った。
得られた事前訓練されたモデルは、ターゲットタスクのトレーニングデータが制限されている場合でも、さまざまな下流タスクに適応することができる。
論文 参考訳(メタデータ) (2023-09-09T00:33:23Z) - Defect Classification in Additive Manufacturing Using CNN-Based Vision
Processing [76.72662577101988]
本稿では、まず、畳み込みニューラルネットワーク(CNN)を用いて、画像データセットの欠陥をAMから第2に正確に分類し、発達した分類モデルにアクティブラーニング技術を適用する。
これにより、トレーニングデータやトレーニングデータの生成に必要なデータのサイズを削減できる、ヒューマン・イン・ザ・ループ機構の構築が可能になる。
論文 参考訳(メタデータ) (2023-07-14T14:36:58Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - Feature robustness and sex differences in medical imaging: a case study
in MRI-based Alzheimer's disease detection [1.7616042687330637]
我々はADNI MRIデータセットの2つの分類方式を比較した。
訓練データセットの性構成に対する男女試験対象者のモデル性能の強い依存は見つからない。
論文 参考訳(メタデータ) (2022-04-04T17:37:54Z) - DeepAD: A Robust Deep Learning Model of Alzheimer's Disease Progression
for Real-World Clinical Applications [0.9999629695552196]
本稿では,アルツハイマー病の進行を予測するための新しいマルチタスク深層学習モデルを提案する。
本モデルでは,3次元畳み込みニューラルネットワークの高次元MRI特徴を他のデータモダリティと統合する。
論文 参考訳(メタデータ) (2022-03-17T05:42:00Z) - Evaluating U-net Brain Extraction for Multi-site and Longitudinal
Preclinical Stroke Imaging [0.4310985013483366]
畳み込みニューラルネットワーク(CNN)は精度を改善し、演算時間を短縮する。
U-net CNNを用いた深層学習マウス脳抽出ツールを開発した。
240のマルチモーダルMRIデータセット上で,典型的なU-netモデルをトレーニングし,検証し,テストした。
論文 参考訳(メタデータ) (2022-03-11T02:00:27Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳(メタデータ) (2021-11-01T15:44:49Z) - Fader Networks for domain adaptation on fMRI: ABIDE-II study [68.5481471934606]
我々は3次元畳み込みオートエンコーダを用いて、無関係な空間画像表現を実現するとともに、ABIDEデータ上で既存のアプローチより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-14T16:50:50Z) - Classification of COVID-19 in CT Scans using Multi-Source Transfer
Learning [91.3755431537592]
我々は,従来のトランスファー学習の改良にマルチソース・トランスファー・ラーニングを応用して,CTスキャンによる新型コロナウイルスの分類を提案する。
マルチソースファインチューニングアプローチでは、ImageNetで微調整されたベースラインモデルよりも優れています。
我々の最高のパフォーマンスモデルは、0.893の精度と0.897のリコールスコアを達成でき、ベースラインのリコールスコアを9.3%上回った。
論文 参考訳(メタデータ) (2020-09-22T11:53:06Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。