論文の概要: Transferring Models Trained on Natural Images to 3D MRI via Position Encoded Slice Models

• arxiv url: http://arxiv.org/abs/2303.01491v1
• Date: Thu, 2 Mar 2023 18:52:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 12:47:43.357625
• Title: Transferring Models Trained on Natural Images to 3D MRI via Position Encoded Slice Models
• Title（参考訳）: 位置符号化スライスモデルによる自然画像から3次元MRIへの移動モデル
• Authors: Umang Gupta, Tamoghna Chattopadhyay, Nikhil Dhinagar, Paul M. Thompson, Greg Ver Steeg, The Alzheimer's Disease Neuroimaging Initiative (ADNI)
• Abstract要約: 2D-Slice-CNNアーキテクチャは、すべてのMRIスライスを2Dエンコーダに埋め込む。 トレーニング済みのモデルが2Dエンコーダとして機能できるという知見を得て、2DエンコーダをImageNetで初期化し、2つのニューロイメージングタスクでそれらを上回り、スクラッチからトレーニングする。
• 参考スコア（独自算出の注目度）: 14.42534860640976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transfer learning has remarkably improved computer vision. These advances also promise improvements in neuroimaging, where training set sizes are often small. However, various difficulties arise in directly applying models pretrained on natural images to radiologic images, such as MRIs. In particular, a mismatch in the input space (2D images vs. 3D MRIs) restricts the direct transfer of models, often forcing us to consider only a few MRI slices as input. To this end, we leverage the 2D-Slice-CNN architecture of Gupta et al. (2021), which embeds all the MRI slices with 2D encoders (neural networks that take 2D image input) and combines them via permutation-invariant layers. With the insight that the pretrained model can serve as the 2D encoder, we initialize the 2D encoder with ImageNet pretrained weights that outperform those initialized and trained from scratch on two neuroimaging tasks -- brain age prediction on the UK Biobank dataset and Alzheimer's disease detection on the ADNI dataset. Further, we improve the modeling capabilities of 2D-Slice models by incorporating spatial information through position embeddings, which can improve the performance in some cases.
• Abstract（参考訳）: 転送学習はコンピュータビジョンを著しく改善した。 これらの進歩は、トレーニングセットのサイズがしばしば小さいニューロイメージングの改善も約束している。 しかし、自然画像に事前訓練されたモデルをMRIなどの放射線画像に適用する際の様々な困難が生じる。 特に、入力空間におけるミスマッチ(2D画像対3DMRI)はモデルの直接転送を制限し、しばしば少数のMRIスライスのみを入力として考慮せざるを得ない。 この目的のために、Gupta et al.(2021)の2D-Slice-CNNアーキテクチャを活用し、MRIスライスを2Dエンコーダ(2D画像入力を受信するニューラルネットワーク)に埋め込んで、置換不変層を介してそれらを結合する。 トレーニング済みモデルが2Dエンコーダとして機能する、という洞察を得て、2DエンコーダをImageNetで初期化し、2つのニューロイメージングタスク(英国バイオバンクデータセットの脳年齢予測とADNIデータセットのアルツハイマー病検出)で初期化およびトレーニングされたタスクを上回る2Dエンコーダを初期化する。 さらに,位置埋め込みによる空間情報を取り込むことにより,2次元スライスモデルのモデリング能力を向上させることで,性能を向上させることができる。

関連論文リスト

• Deep Convolutional Neural Networks on Multiclass Classification of Three-Dimensional Brain Images for Parkinson's Disease Stage Prediction [2.931680194227131]
  パーキンソン病の病期を正確に予測できるモデルを開発した。 我々は3次元脳画像全体を入力として使用した。 予測過程において,異なるスライスの重要性を考慮に入れた注意機構を組み込んだ。
  論文  参考訳（メタデータ） (2024-10-31T05:40:08Z)
• Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
  被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。 我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。 予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
  論文  参考訳（メタデータ） (2024-05-24T06:06:11Z)
• Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
  本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。 我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
  論文  参考訳（メタデータ） (2023-07-13T08:27:09Z)
• Video Pretraining Advances 3D Deep Learning on Chest CT Tasks [63.879848037679224]
  大規模自然画像分類データセットの事前学習は、データスカース2D医療タスクのモデル開発に役立っている。 これらの2Dモデルは、3Dコンピュータビジョンベンチマークで3Dモデルに勝っている。 3Dモデルのためのビデオ事前トレーニングにより、より小さなデータセットでより高性能な3D医療タスクを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-04-02T14:46:58Z)
• HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
  我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。 我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
  論文  参考訳（メタデータ） (2023-03-29T07:35:56Z)
• Learning 3D Representations from 2D Pre-trained Models via Image-to-Point Masked Autoencoders [52.91248611338202]
  I2P-MAEという名前のイメージ・ツー・ポイント・マスケッド・オートエンコーダを用いて,2次元事前学習モデルから優れた3次元表現を得る方法を提案する。 自己教師付き事前学習により、よく学習された2D知識を利用して、3Dマスクによる自動エンコーディングをガイドする。 I2P-MAEは最先端の90.11%の精度、+3.68%の精度で第2ベストに到達し、より優れた転送能力を示す。
  論文  参考訳（メタデータ） (2022-12-13T17:59:20Z)
• Decomposing 3D Neuroimaging into 2+1D Processing for Schizophrenia Recognition [25.80846093248797]
  我々は2+1Dフレームワークで3Dデータを処理し、巨大なImageNetデータセット上に事前トレーニングされた強力な2D畳み込みニューラルネットワーク(CNN)ネットワークを利用して3Dニューロイメージング認識を実現することを提案する。 特に3次元磁気共鳴イメージング(MRI)の計測値は、隣接するボクセル位置に応じて2次元スライスに分解される。 グローバルプーリングは、アクティベーションパターンが機能マップ上にわずかに分散されているため、冗長な情報を除去するために適用される。 2次元CNNモデルにより処理されていない3次元の文脈情報を集約するために,チャネルワイドおよびスライスワイズ畳み込みを提案する。
  論文  参考訳（メタデータ） (2022-11-21T15:22:59Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Super Images -- A New 2D Perspective on 3D Medical Imaging Analysis [0.0]
  トレーニング中に3次元知識を効率的に埋め込んで3次元データを扱うための,シンプルで効果的な2次元手法を提案する。 本手法は3次元画像にスライスを並べて超高分解能画像を生成する。 2次元ネットワークのみを利用した3次元ネットワークを実現する一方で、モデルの複雑さはおよそ3倍に減少する。
  論文  参考訳（メタデータ） (2022-05-05T09:59:03Z)
• Improved Brain Age Estimation with Slice-based Set Networks [18.272915375351914]
  本稿では,脳波予測のための新しいアーキテクチャを提案する。 提案アーキテクチャは, ディープ2D-CNNモデルを用いて, それぞれの2次元スライスをMRIで符号化することによって機能する。 次に、セットネットワークまたは置換不変層を用いて、これらの2Dスライス符号化の情報を組み合わせる。 英国のBiobankデータセットを用いたBrainAGE予測問題の実験では、置換不変層を持つモデルは、他の最先端のアプローチと比較して、より高速にトレーニングし、より良い予測を提供することが示された。
  論文  参考訳（メタデータ） (2021-02-08T18:54:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。