論文の概要: Efficiently Training Vision Transformers on Structural MRI Scans for Alzheimer's Disease Detection

• arxiv url: http://arxiv.org/abs/2303.08216v1
• Date: Tue, 14 Mar 2023 20:18:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 15:42:32.160103
• Title: Efficiently Training Vision Transformers on Structural MRI Scans for Alzheimer's Disease Detection
• Title（参考訳）: アルツハイマー病検出のための構造MRIスキャンを用いた視覚変換器の訓練
• Authors: Nikhil J. Dhinagar, Sophia I. Thomopoulos, Emily Laltoo and Paul M. Thompson
• Abstract要約: ビジョントランスフォーマー(ViT)は近年、コンピュータビジョンアプリケーションのためのCNNの代替として登場した。 難易度に基づいて,脳神経画像の下流タスクに対するViTアーキテクチャの変種を検証した。 合成および実MRIスキャンで事前訓練した微調整型視覚変換器モデルを用いて、5%と9-10%の性能向上を実現した。
• 参考スコア（独自算出の注目度）: 2.359557447960552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neuroimaging of large populations is valuable to identify factors that promote or resist brain disease, and to assist diagnosis, subtyping, and prognosis. Data-driven models such as convolutional neural networks (CNNs) have increasingly been applied to brain images to perform diagnostic and prognostic tasks by learning robust features. Vision transformers (ViT) - a new class of deep learning architectures - have emerged in recent years as an alternative to CNNs for several computer vision applications. Here we tested variants of the ViT architecture for a range of desired neuroimaging downstream tasks based on difficulty, in this case for sex and Alzheimer's disease (AD) classification based on 3D brain MRI. In our experiments, two vision transformer architecture variants achieved an AUC of 0.987 for sex and 0.892 for AD classification, respectively. We independently evaluated our models on data from two benchmark AD datasets. We achieved a performance boost of 5% and 9-10% upon fine-tuning vision transformer models pre-trained on synthetic (generated by a latent diffusion model) and real MRI scans, respectively. Our main contributions include testing the effects of different ViT training strategies including pre-training, data augmentation and learning rate warm-ups followed by annealing, as pertaining to the neuroimaging domain. These techniques are essential for training ViT-like models for neuroimaging applications where training data is usually limited. We also analyzed the effect of the amount of training data utilized on the test-time performance of the ViT via data-model scaling curves.
• Abstract（参考訳）: 大集団の神経イメージングは、脳疾患を促進または抵抗する因子を同定し、診断、サブタイプ、予後を助けるのに有用である。 畳み込みニューラルネットワーク(cnns)のようなデータ駆動モデルは、堅牢な特徴を学習することで診断と予後のタスクを実行するために脳画像にますます適用されている。 vision transformers (vit) - ディープラーニングアーキテクチャの新しいクラス - は近年、いくつかのコンピュータビジョンアプリケーションのためのcnnの代替として登場している。 そこで我々は,3次元脳MRIに基づく性差とアルツハイマー病(AD)分類の難易度に基づいて,所望の脳画像下流タスクに対するViTアーキテクチャの変種を検証した。 実験では,2種類の視覚トランスフォーマーアーキテクチャが,性別で0.987,AD分類で0.892のAUCを達成した。 2つのベンチマークADデータセットから得られたデータに基づいてモデルを独立に評価した。 合成(潜時拡散モデルにより生成)と実MRIスキャンを併用した微調整型視覚トランスフォーマーモデルを用いて, 5%, 9-10%の性能向上を実現した。 我々の主な貢献は、神経画像領域に関して、トレーニング前、データ拡張、学習率ウォームアップなどの異なるViTトレーニング戦略の効果のテストである。 これらの技術は、通常、トレーニングデータが制限されている神経イメージング応用のためのViTライクなモデルのトレーニングに不可欠である。 また、データモデルスケーリング曲線を用いて、トレーニングデータの利用量がViTのテスト時間性能に与える影響を解析した。

関連論文リスト

• Residual Vision Transformer (ResViT) Based Self-Supervised Learning Model for Brain Tumor Classification [0.08192907805418585]
  自己教師付き学習モデルは、限られたデータセット問題に対するデータ効率と注目すべき解決策を提供する。 本稿では2段階の脳腫瘍分類のための生成型SSLモデルを提案する。 提案されたモデルが最も精度が高く、T1シークエンスでBraTsデータセットで90.56%、Figshareで98.53%、Kaggle脳腫瘍データセットで98.47%を達成している。
  論文  参考訳（メタデータ） (2024-11-19T21:42:57Z)
• Self-Supervised Pre-training Tasks for an fMRI Time-series Transformer in Autism Detection [3.665816629105171]
  自閉症スペクトラム障害(Autism Spectrum disorder、ASD)は、様々な症状や障害の程度を包含する神経発達障害である。 我々は,関数接続を計算せずに時系列fMRIデータを直接解析するトランスフォーマーベースの自己教師型フレームワークを開発した。 ランダムにROIをマスキングすると、トレーニング前のステップでランダムにマスキングする時間ポイントよりも、モデル性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-09-18T20:29:23Z)
• Phikon-v2, A large and public feature extractor for biomarker prediction [42.52549987351643]
  我々は、DINOv2を用いて視覚変換器を訓練し、このモデルの1つのイテレーションを公開して、Phikon-v2と呼ばれるさらなる実験を行う。 Phikon-v2は、公開されている組織学のスライドをトレーニングしながら、以前リリースしたモデル(Phikon)を上回り、プロプライエタリなデータでトレーニングされた他の病理学基盤モデル(FM)と同等に動作します。
  論文  参考訳（メタデータ） (2024-09-13T20:12:29Z)
• Self-Supervised Pretext Tasks for Alzheimer's Disease Classification using 3D Convolutional Neural Networks on Large-Scale Synthetic Neuroimaging Dataset [11.173478552040441]
  アルツハイマー病(Alzheimer's Disease, AD)は、脳の局所的および広範な神経変性を誘導する疾患である。 本研究では、下流ADとCN分類のための特徴抽出器を訓練するための教師なし手法をいくつか評価した。
  論文  参考訳（メタデータ） (2024-06-20T11:26:32Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Video and Synthetic MRI Pre-training of 3D Vision Architectures for Neuroimage Analysis [3.208731414009847]
  トランスファーラーニングは、特定のタスクに適応するために、大規模なデータコーパスでディープラーニングモデルを事前訓練することを含む。 視覚変換器 (ViTs) と畳み込みニューラルネットワーク (CNNs) のベンチマークを行った。 得られた事前訓練されたモデルは、ターゲットタスクのトレーニングデータが制限されている場合でも、さまざまな下流タスクに適応することができる。
  論文  参考訳（メタデータ） (2023-09-09T00:33:23Z)
• PTGB: Pre-Train Graph Neural Networks for Brain Network Analysis [39.16619345610152]
  臨床結果に関係なく,脳内ネットワーク構造をキャプチャするGNN事前学習フレームワークPTGBを提案する。 PTGBは,(1)脳ネットワークに特化して設計された教師なし事前学習技術で,タスク固有のラベルを持たない大規模データセットからの学習を可能にすること,(2)異なるROIシステムを持つデータセット間の知識伝達を容易にするデータ駆動型パーセルレーションアトラスマッピングパイプラインである。
  論文  参考訳（メタデータ） (2023-05-20T21:07:47Z)
• Evaluating U-net Brain Extraction for Multi-site and Longitudinal Preclinical Stroke Imaging [0.4310985013483366]
  畳み込みニューラルネットワーク(CNN)は精度を改善し、演算時間を短縮する。 U-net CNNを用いた深層学習マウス脳抽出ツールを開発した。 240のマルチモーダルMRIデータセット上で,典型的なU-netモデルをトレーニングし,検証し,テストした。
  論文  参考訳（メタデータ） (2022-03-11T02:00:27Z)
• Functional Magnetic Resonance Imaging data augmentation through conditional ICA [44.483210864902304]
  本稿では,高速機能型磁気共鳴イメージング(fMRI)データ拡張技術である条件独立成分分析(Conditional ICA)を紹介する。 本研究では,コンディショナルICAが観測不可能なデータの合成に成功しており,脳の復号化問題における分類精度の向上が期待できることを示す。
  論文  参考訳（メタデータ） (2021-07-11T22:36:14Z)
• Classification of COVID-19 in CT Scans using Multi-Source Transfer Learning [91.3755431537592]
  我々は,従来のトランスファー学習の改良にマルチソース・トランスファー・ラーニングを応用して,CTスキャンによる新型コロナウイルスの分類を提案する。 マルチソースファインチューニングアプローチでは、ImageNetで微調整されたベースラインモデルよりも優れています。 我々の最高のパフォーマンスモデルは、0.893の精度と0.897のリコールスコアを達成でき、ベースラインのリコールスコアを9.3%上回った。
  論文  参考訳（メタデータ） (2020-09-22T11:53:06Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。