論文の概要: Raptor: Scalable Train-Free Embeddings for 3D Medical Volumes Leveraging Pretrained 2D Foundation Models
- arxiv url: http://arxiv.org/abs/2507.08254v1
- Date: Fri, 11 Jul 2025 01:59:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-14 18:03:54.220356
- Title: Raptor: Scalable Train-Free Embeddings for 3D Medical Volumes Leveraging Pretrained 2D Foundation Models
- Title(参考訳): Raptor: トレーニング済みの2Dファンデーションモデルを活用した3Dメディカルボリュームのためのスケーラブルなトレインフリー埋め込み
- Authors: Ulzee An, Moonseong Jeong, Simon A. Lee, Aditya Gorla, Yuzhe Yang, Sriram Sankararaman,
- Abstract要約: Raptor(ラプター)は、大容量の医療機器をキュレートする列車不要の方法である。
Raptorはボリュームデータを生成するためにセマンティックにリッチな埋め込みを生成する。
本研究は,医学ボリュームの深層学習手法の基礎として,Raptorの有効性と汎用性を強調した。
- 参考スコア(独自算出の注目度): 9.213559990901551
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current challenges in developing foundational models for volumetric imaging data, such as magnetic resonance imaging (MRI), stem from the computational complexity of training state-of-the-art architectures in high dimensions and curating sufficiently large datasets of volumes. To address these challenges, we introduce Raptor (Random Planar Tensor Reduction), a train-free method for generating semantically rich embeddings for volumetric data. Raptor leverages a frozen 2D foundation model, pretrained on natural images, to extract visual tokens from individual cross-sections of medical volumes. These tokens are then spatially compressed using random projections, significantly reducing computational complexity while retaining semantic information. Extensive experiments on ten diverse medical volume tasks verify the superior performance of Raptor over state-of-the-art methods, including those pretrained exclusively on medical volumes (+3% SuPreM, +6% MISFM, +10% Merlin, +13% VoCo, and +14% SLIViT), while entirely bypassing the need for costly training. Our results highlight the effectiveness and versatility of Raptor as a foundation for advancing deep learning-based methods for medical volumes.
- Abstract(参考訳): 磁気共鳴イメージング(MRI)のようなボリューム画像データの基礎モデルの開発における現在の課題は、高次元の最先端アーキテクチャを訓練し、十分に大きなボリュームデータセットをキュレートする際の計算の複雑さに起因している。
これらの課題に対処するために,Raptor (Random Planar Tensor Reduction) を導入する。
Raptorは凍結した2Dファンデーションモデルを利用して、自然画像に基づいて、個々の医療ボリュームの断面から視覚トークンを抽出する。
これらのトークンはランダムなプロジェクションを用いて空間的に圧縮され、意味情報を保持しながら計算の複雑さを著しく低減する。
10種類の多種多様な医療ボリュームタスクに関する広範囲な実験は、医療用量(+3% SuPreM, +6% MISFM, +10% Merlin, +13% VoCo, +14% SLIViT)のみに事前訓練されたものを含む、最先端の手法よりもラプターの優れた性能を検証する。
本研究は,医学ボリュームの深層学習手法の基盤として,Raptorの有効性と汎用性を強調した。
関連論文リスト
- Domain Aware Multi-Task Pretraining of 3D Swin Transformer for T1-weighted Brain MRI [4.453300553789746]
脳磁気共鳴画像(MRI)のための3次元スイム変換器の事前訓練のためのドメイン認識型マルチタスク学習タスクを提案する。
脳の解剖学と形態学を取り入れた脳MRIの領域知識と、対照的な学習環境での3Dイメージングに適応した標準的な前提課題を考察した。
本手法は,アルツハイマー病の分類,パーキンソン病の分類,年齢予測の3つの下流課題において,既存の指導的・自己監督的手法よりも優れていた。
論文 参考訳(メタデータ) (2024-10-01T05:21:02Z) - Latent 3D Brain MRI Counterfactual [25.598362396064367]
潜在空間内に構造因果モデル(Structure Causal Model, SCM)を構築するための2段階手法を提案する。
第一段階では、VQ-VAEを用いてMRIボリュームのコンパクトな埋め込みを学習する。
その後、この潜在空間に因果モデルを統合するとともに、3段階の対応手順を実行する。
論文 参考訳(メタデータ) (2024-09-09T13:15:03Z) - StoDIP: Efficient 3D MRF image reconstruction with deep image priors and stochastic iterations [3.4453266252081645]
StoDIPは, 3次元MRFイメージングに基いて, 地上構造のないDeep Image Prior (DIP) 再構成を拡張した新しいアルゴリズムである。
健康なボランティアの脳全体をスキャンしたデータセットで、StoDIPは、質的にも質的にも、地道な再建ベースラインよりも優れたパフォーマンスを示した。
論文 参考訳(メタデータ) (2024-08-05T10:32:06Z) - Self-Supervised Pretext Tasks for Alzheimer's Disease Classification using 3D Convolutional Neural Networks on Large-Scale Synthetic Neuroimaging Dataset [11.173478552040441]
アルツハイマー病(Alzheimer's Disease, AD)は、脳の局所的および広範な神経変性を誘導する疾患である。
本研究では、下流ADとCN分類のための特徴抽出器を訓練するための教師なし手法をいくつか評価した。
論文 参考訳(メタデータ) (2024-06-20T11:26:32Z) - fMRI-PTE: A Large-scale fMRI Pretrained Transformer Encoder for
Multi-Subject Brain Activity Decoding [54.17776744076334]
本稿では,fMRI事前学習のための革新的オートエンコーダであるfMRI-PTEを提案する。
我々のアプローチでは、fMRI信号を統合された2次元表現に変換し、次元の整合性を確保し、脳の活動パターンを保存する。
コントリビューションには、fMRI-PTEの導入、革新的なデータ変換、効率的なトレーニング、新しい学習戦略、そして我々のアプローチの普遍的な適用性が含まれる。
論文 参考訳(メタデータ) (2023-11-01T07:24:22Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-07-31T17:59:42Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳(メタデータ) (2023-06-20T22:21:34Z) - Customizing General-Purpose Foundation Models for Medical Report
Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。
本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文 参考訳(メタデータ) (2023-06-09T03:02:36Z) - Pre-training and Fine-tuning Transformers for fMRI Prediction Tasks [69.85819388753579]
TFFはトランスフォーマーベースのアーキテクチャと2フェーズのトレーニングアプローチを採用している。
自己教師付きトレーニングは、fMRIスキャンのコレクションに適用され、モデルが3Dボリュームデータの再構成のために訓練される。
その結果、年齢や性別の予測、統合失調症認知など、さまざまなfMRIタスクにおける最先端のパフォーマンスが示された。
論文 参考訳(メタデータ) (2021-12-10T18:04:26Z) - Medical Transformer: Universal Brain Encoder for 3D MRI Analysis [1.6287500717172143]
既存の3Dベースの手法は、トレーニング済みのモデルを下流のタスクに転送している。
彼らは3D医療イメージングのためのモデルを訓練するために大量のパラメータを要求します。
本稿では,2次元画像スライス形式で3次元容積画像を効果的にモデル化する,メディカルトランスフォーマーと呼ばれる新しい伝達学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-28T08:34:21Z) - Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。
データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文 参考訳(メタデータ) (2020-09-01T19:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。