論文の概要: Efficiently Training Vision Transformers on Structural MRI Scans for
Alzheimer's Disease Detection
- arxiv url: http://arxiv.org/abs/2303.08216v1
- Date: Tue, 14 Mar 2023 20:18:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-16 15:42:32.160103
- Title: Efficiently Training Vision Transformers on Structural MRI Scans for
Alzheimer's Disease Detection
- Title（参考訳）: アルツハイマー病検出のための構造MRIスキャンを用いた視覚変換器の訓練
- Authors: Nikhil J. Dhinagar, Sophia I. Thomopoulos, Emily Laltoo and Paul M.
Thompson
- Abstract要約: ビジョントランスフォーマー(ViT)は近年、コンピュータビジョンアプリケーションのためのCNNの代替として登場した。
難易度に基づいて,脳神経画像の下流タスクに対するViTアーキテクチャの変種を検証した。
合成および実MRIスキャンで事前訓練した微調整型視覚変換器モデルを用いて、5%と9-10%の性能向上を実現した。
- 参考スコア（独自算出の注目度）: 2.359557447960552
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neuroimaging of large populations is valuable to identify factors that
promote or resist brain disease, and to assist diagnosis, subtyping, and
prognosis. Data-driven models such as convolutional neural networks (CNNs) have
increasingly been applied to brain images to perform diagnostic and prognostic
tasks by learning robust features. Vision transformers (ViT) - a new class of
deep learning architectures - have emerged in recent years as an alternative to
CNNs for several computer vision applications. Here we tested variants of the
ViT architecture for a range of desired neuroimaging downstream tasks based on
difficulty, in this case for sex and Alzheimer's disease (AD) classification
based on 3D brain MRI. In our experiments, two vision transformer architecture
variants achieved an AUC of 0.987 for sex and 0.892 for AD classification,
respectively. We independently evaluated our models on data from two benchmark
AD datasets. We achieved a performance boost of 5% and 9-10% upon fine-tuning
vision transformer models pre-trained on synthetic (generated by a latent
diffusion model) and real MRI scans, respectively. Our main contributions
include testing the effects of different ViT training strategies including
pre-training, data augmentation and learning rate warm-ups followed by
annealing, as pertaining to the neuroimaging domain. These techniques are
essential for training ViT-like models for neuroimaging applications where
training data is usually limited. We also analyzed the effect of the amount of
training data utilized on the test-time performance of the ViT via data-model
scaling curves.
- Abstract（参考訳）: 大集団の神経イメージングは、脳疾患を促進または抵抗する因子を同定し、診断、サブタイプ、予後を助けるのに有用である。
畳み込みニューラルネットワーク(cnns)のようなデータ駆動モデルは、堅牢な特徴を学習することで診断と予後のタスクを実行するために脳画像にますます適用されている。
vision transformers (vit) - ディープラーニングアーキテクチャの新しいクラス - は近年、いくつかのコンピュータビジョンアプリケーションのためのcnnの代替として登場している。
そこで我々は,3次元脳MRIに基づく性差とアルツハイマー病(AD)分類の難易度に基づいて,所望の脳画像下流タスクに対するViTアーキテクチャの変種を検証した。
実験では,2種類の視覚トランスフォーマーアーキテクチャが,性別で0.987,AD分類で0.892のAUCを達成した。
2つのベンチマークADデータセットから得られたデータに基づいてモデルを独立に評価した。
合成(潜時拡散モデルにより生成)と実MRIスキャンを併用した微調整型視覚トランスフォーマーモデルを用いて, 5%, 9-10%の性能向上を実現した。
我々の主な貢献は、神経画像領域に関して、トレーニング前、データ拡張、学習率ウォームアップなどの異なるViTトレーニング戦略の効果のテストである。
これらの技術は、通常、トレーニングデータが制限されている神経イメージング応用のためのViTライクなモデルのトレーニングに不可欠である。
また、データモデルスケーリング曲線を用いて、トレーニングデータの利用量がViTのテスト時間性能に与える影響を解析した。
関連論文リスト
- Data-Efficient Vision Transformers for Multi-Label Disease
Classification on Chest Radiographs [55.78588835407174]
視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。
ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。
以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
論文 参考訳（メタデータ） (2022-08-17T09:07:45Z) - Feature robustness and sex differences in medical imaging: a case study
in MRI-based Alzheimer's disease detection [1.7616042687330637]
我々はADNI MRIデータセットの2つの分類方式を比較した。
訓練データセットの性構成に対する男女試験対象者のモデル性能の強い依存は見つからない。
論文 参考訳（メタデータ） (2022-04-04T17:37:54Z) - DeepAD: A Robust Deep Learning Model of Alzheimer's Disease Progression
for Real-World Clinical Applications [0.0]
本稿では,アルツハイマー病の進行を予測するための新しいマルチタスク深層学習モデルを提案する。
本モデルでは,3次元畳み込みニューラルネットワークの高次元MRI特徴を他のデータモダリティと統合する。
論文 参考訳（メタデータ） (2022-03-17T05:42:00Z) - Evaluating U-net Brain Extraction for Multi-site and Longitudinal
Preclinical Stroke Imaging [0.4310985013483366]
畳み込みニューラルネットワーク(CNN)は精度を改善し、演算時間を短縮する。
U-net CNNを用いた深層学習マウス脳抽出ツールを開発した。
240のマルチモーダルMRIデータセット上で,典型的なU-netモデルをトレーニングし,検証し,テストした。
論文 参考訳（メタデータ） (2022-03-11T02:00:27Z) - Evaluating deep transfer learning for whole-brain cognitive decoding [11.898286908882561]
転送学習(TL)は、少数のサンプルを持つデータセットにおける深層学習(DL)モデルの性能向上に適している。
本稿では,全脳機能型磁気共鳴画像(fMRI)データから認識状態の復号化にDLモデルを適用するためのTLを評価した。
論文 参考訳（メタデータ） (2021-11-01T15:44:49Z) - Variational voxelwise rs-fMRI representation learning: Evaluation of
sex, age, and neuropsychiatric signatures [0.0]
本稿では,Voxelwise rs-fMRIデータに非線形表現学習を適用することを提案する。
非線形表現の学習は変分オートエンコーダ(VAE)を用いて行われる
VAEは、voxelwise rs-fMRIデータに基づいて訓練され、意味のある情報を保持する非線形次元還元を行う。
論文 参考訳（メタデータ） (2021-08-29T05:27:32Z) - Fader Networks for domain adaptation on fMRI: ABIDE-II study [68.5481471934606]
我々は3次元畳み込みオートエンコーダを用いて、無関係な空間画像表現を実現するとともに、ABIDEデータ上で既存のアプローチより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-14T16:50:50Z) - Domain Shift in Computer Vision models for MRI data analysis: An
Overview [64.69150970967524]
機械学習とコンピュータビジョン手法は、医用画像解析において優れた性能を示している。
しかし、現在臨床応用はごくわずかである。
異なるソースや取得ドメインのデータへのモデルの不適切な転送性は、その理由の1つです。
論文 参考訳（メタデータ） (2020-10-14T16:34:21Z) - Classification of COVID-19 in CT Scans using Multi-Source Transfer
Learning [91.3755431537592]
我々は,従来のトランスファー学習の改良にマルチソース・トランスファー・ラーニングを応用して,CTスキャンによる新型コロナウイルスの分類を提案する。
マルチソースファインチューニングアプローチでは、ImageNetで微調整されたベースラインモデルよりも優れています。
我々の最高のパフォーマンスモデルは、0.893の精度と0.897のリコールスコアを達成でき、ベースラインのリコールスコアを9.3%上回った。
論文 参考訳（メタデータ） (2020-09-22T11:53:06Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳（メタデータ） (2020-09-02T02:50:30Z) - Ensemble Transfer Learning for the Prediction of Anti-Cancer Drug
Response [49.86828302591469]
本稿では,抗がん剤感受性の予測にトランスファーラーニングを適用した。
我々は、ソースデータセット上で予測モデルをトレーニングし、ターゲットデータセット上でそれを洗練する古典的な転送学習フレームワークを適用した。
アンサンブル転送学習パイプラインは、LightGBMと異なるアーキテクチャを持つ2つのディープニューラルネットワーク(DNN)モデルを使用して実装されている。
論文 参考訳（メタデータ） (2020-05-13T20:29:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。