論文の概要: SOE: SO(3)-Equivariant 3D MRI Encoding
- arxiv url: http://arxiv.org/abs/2410.12053v1
- Date: Tue, 15 Oct 2024 20:47:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-17 13:42:23.668031
- Title: SOE: SO(3)-Equivariant 3D MRI Encoding
- Title(参考訳): SOE: SO(3)-等変3次元MRI符号化
- Authors: Shizhe He, Magdalini Paschali, Jiahong Ouyang, Adnan Masood, Akshay Chaudhari, Ehsan Adeli,
- Abstract要約: 本稿では,3次元空間における全ての回転に対して同値を強制する新しい3次元MRI符号化法を提案する。
表現空間におけるこの幾何等式を明示的にモデル化することにより、入力画像空間に適用される任意の回転操作が埋め込み表現空間にも反映されることを保証する。
我々は,ADNIデータセットのT1強調脳スキャンから,年齢予測とアルツハイマー病診断の下流課題に関して,2つの公開データセットの構造的MRIに基づいて事前訓練したSOEを評価した。
- 参考スコア(独自算出の注目度): 9.856654245845244
- License:
- Abstract: Representation learning has become increasingly important, especially as powerful models have shifted towards learning latent representations before fine-tuning for downstream tasks. This approach is particularly valuable in leveraging the structural information within brain anatomy. However, a common limitation of recent models developed for MRIs is their tendency to ignore or remove geometric information, such as translation and rotation, thereby creating invariance with respect to geometric operations. We contend that incorporating knowledge about these geometric transformations into the model can significantly enhance its ability to learn more detailed anatomical information within brain structures. As a result, we propose a novel method for encoding 3D MRIs that enforces equivariance with respect to all rotations in 3D space, in other words, SO(3)-equivariance (SOE). By explicitly modeling this geometric equivariance in the representation space, we ensure that any rotational operation applied to the input image space is also reflected in the embedding representation space. This approach requires moving beyond traditional representation learning methods, as we need a representation vector space that allows for the application of the same SO(3) operation in that space. To facilitate this, we leverage the concept of vector neurons. The representation space formed by our method captures the brain's structural and anatomical information more effectively. We evaluate SOE pretrained on the structural MRIs of two public data sets with respect to the downstream task of predicting age and diagnosing Alzheimer's Disease from T1-weighted brain scans of the ADNI data set. We demonstrate that our approach not only outperforms other methods but is also robust against various degrees of rotation along different axes. The code is available at https://github.com/shizhehe/SOE-representation-learning.
- Abstract(参考訳): 特に、下流タスクの微調整の前に、強力なモデルが潜在表現の学習へと移行し、表現学習の重要性が高まっている。
このアプローチは特に脳解剖学における構造情報の活用に有用である。
しかし、MRI向けに開発された最近のモデルの共通的な制限は、翻訳や回転といった幾何学的情報を無視したり削除したりする傾向にあるため、幾何学的操作に関して不変性が生じる。
これらの幾何学的変換に関する知識をモデルに組み込むことで、脳構造の中でより詳細な解剖学的情報を学ぶ能力を大幅に向上させることができると我々は主張する。
その結果,3次元空間における全ての回転に対して等分散を強制する新しい3次元MRI符号化法,すなわちSO(3)-等分散(SOE)を提案する。
表現空間におけるこの幾何等式を明示的にモデル化することにより、入力画像空間に適用される任意の回転操作が埋め込み表現空間にも反映されることを保証する。
このアプローチでは、同じSO(3) 演算をその空間に適用できる表現ベクトル空間が必要であるため、従来の表現学習方法を超える必要がある。
これを容易にするために、我々はベクトルニューロンの概念を利用する。
本手法により生成された表現空間は,脳の構造的および解剖学的情報をより効果的に捕捉する。
我々は,ADNIデータセットのT1強調脳スキャンから,年齢予測とアルツハイマー病診断の下流課題に関して,2つの公開データセットの構造的MRIに基づいて事前訓練したSOEを評価した。
我々は,本手法が他の手法より優れるだけでなく,異なる軸に沿った様々な回転度に対して頑健であることを示した。
コードはhttps://github.com/shizhehehe/SOE-representation-learningで公開されている。
関連論文リスト
- BrainSegFounder: Towards 3D Foundation Models for Neuroimage Segmentation [6.5388528484686885]
本研究は,医療基盤モデルの創出に向けた新しいアプローチを紹介する。
本稿では,視覚変換器を用いた2段階事前学習手法を提案する。
BrainFounderは、これまでの勝利ソリューションの成果を上回る、大幅なパフォーマンス向上を実演している。
論文 参考訳(メタデータ) (2024-06-14T19:49:45Z) - Brain3D: Generating 3D Objects from fMRI [76.41771117405973]
被験者のfMRIデータを入力として利用する新しい3Dオブジェクト表現学習手法であるBrain3Dを設計する。
我々は,人間の視覚系の各領域の異なる機能的特徴を,我々のモデルが捉えていることを示す。
予備評価は、Brain3Dがシミュレーションシナリオで障害した脳領域を正常に識別できることを示唆している。
論文 参考訳(メタデータ) (2024-05-24T06:06:11Z) - MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。
現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。
我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
論文 参考訳(メタデータ) (2024-04-11T15:46:42Z) - 3D Brainformer: 3D Fusion Transformer for Brain Tumor Segmentation [6.127298607534532]
深層学習は、最近脳腫瘍のセグメンテーションを改善するために現れた。
変換器は畳み込みネットワークの限界に対処するために利用されてきた。
本稿では,3次元トランスフォーマーを用いたセグメンテーション手法を提案する。
論文 参考訳(メタデータ) (2023-04-28T02:11:29Z) - Patched Diffusion Models for Unsupervised Anomaly Detection in Brain MRI [55.78588835407174]
本稿では,正常脳解剖のパッチベース推定法として拡散モデルの生成タスクを再構築する手法を提案する。
腫瘍と多発性硬化症について検討し,既存のベースラインと比較して25.1%の改善がみられた。
論文 参考訳(メタデータ) (2023-03-07T09:40:22Z) - Prediction of Geometric Transformation on Cardiac MRI via Convolutional
Neural Network [13.01021780124613]
画像に適用される幾何学的変換を認識するために,ConvNetsを訓練して医用画像の特徴を学習することを提案する。
幾何学的変換を容易に予測できる簡単な自己教師型タスクを提案する。
論文 参考訳(メタデータ) (2022-11-12T11:29:14Z) - Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。
事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。
実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
論文 参考訳(メタデータ) (2022-09-19T09:43:19Z) - 3-Dimensional Deep Learning with Spatial Erasing for Unsupervised
Anomaly Segmentation in Brain MRI [55.97060983868787]
我々は,MRIボリュームと空間消去を組み合わせた空間文脈の増大が,教師なしの異常セグメンテーション性能の向上に繋がるかどうかを検討する。
本稿では,2次元変分オートエンコーダ(VAE)と3次元の相違点を比較し,3次元入力消去を提案し,データセットサイズが性能に与える影響を体系的に検討する。
入力消去による最高の3D VAEは、平均DICEスコアが31.40%となり、2D VAEは25.76%となった。
論文 参考訳(メタデータ) (2021-09-14T09:17:27Z) - Medical Transformer: Universal Brain Encoder for 3D MRI Analysis [1.6287500717172143]
既存の3Dベースの手法は、トレーニング済みのモデルを下流のタスクに転送している。
彼らは3D医療イメージングのためのモデルを訓練するために大量のパラメータを要求します。
本稿では,2次元画像スライス形式で3次元容積画像を効果的にモデル化する,メディカルトランスフォーマーと呼ばれる新しい伝達学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-28T08:34:21Z) - Leveraging 3D Information in Unsupervised Brain MRI Segmentation [1.6148039130053087]
Unsupervised Anomaly Detection (UAD) 法を提案し,Variational Autoencoder (VAE) を用いて学習した健常モデルの異常を検出する。
本稿では,UADを3D方式で実行し,2Dと3DのVAEを比較することを提案する。
サイドコントリビューションとして、堅牢なトレーニングを保証する新しい損失機能を紹介します。
学習は、健康な脳MRIの多心性データセットを使用して行われ、白マター高輝度および腫瘍病変のセグメント化性能が推定される。
論文 参考訳(メタデータ) (2021-01-26T10:04:57Z) - TSGCNet: Discriminative Geometric Feature Learning with Two-Stream
GraphConvolutional Network for 3D Dental Model Segmentation [141.2690520327948]
2流グラフ畳み込みネットワーク(TSGCNet)を提案し、異なる幾何学的特性から多視点情報を学ぶ。
3次元口腔内スキャナーで得られた歯科モデルのリアルタイムデータセットを用いてTSGCNetの評価を行った。
論文 参考訳(メタデータ) (2020-12-26T08:02:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。