論文の概要: nnFoundation: 3D Foundation Models for Radiology
- arxiv url: http://arxiv.org/abs/2609.26924v1
- Date: Tue, 22 Sep 2026 18:18:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.724394
- Title: nnFoundation: 3D Foundation Models for Radiology
- Title(参考訳): nnFoundation:放射線学のための3Dファウンデーションモデル
- Abstract要約: 本稿では, nnFoundation, complementary convolutional and transformer-based 3D radiological foundation modelを提案する。
nnFoundationは、125の機関および公開データセットから2100万のCT、MRI、PET画像のボリュームをトレーニングしている。
セグメンテーション,検出,分類,レポート生成,画像検索にまたがる108タスクを対象に評価を行った。
- 参考スコア(独自算出の注目度): 48.893650575172934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Radiological artificial intelligence has advanced rapidly, yet most systems remain narrowly task-specific, data-intensive, and fragile under domain shift. Foundation models promise more transferable and data-efficient solutions, but existing approaches are limited in scale, evaluated narrowly, and often assume that a single pretrained model can support diverse downstream tasks. Here we present nnFoundation, complementary convolutional and transformer-based 3D radiological foundation models. Developed within the Human Radiome Project (THRP), nnFoundation is trained on 2.1 million CT, MRI, and PET image volumes from 125 institutional and public datasets. We evaluate them across 108 tasks spanning segmentation, detection, classification, report generation, and image retrieval, including evaluations under domain shift, by external partners and in low-data and low-compute regimes. Across all task types, our convolution- and transformer-based nnFoundation models consistently outperform both prior 3D foundation models and training from scratch, establishing state-of-the-art performance for radiological imaging. However, performance follows a consistent task-dependent structure: the convolutional nnFoundation model dominates spatially localized tasks, whereas the transformer-based nnFoundation model excels in tasks requiring global semantic reasoning and in frozen-feature settings. Dynamically aligning the foundation model topology with the dataset characteristics post-hoc further improves transfer across heterogeneous 3D settings. These results show that transferable 3D radiological performance is governed not by a single universal model, but by the interplay of scalable pretraining, complementary architectures, and dataset-aware adaptation. We release nnFoundation models integrated into nnU-Net and nnDetection, enabling immediate application across established radiology workflows.
- Abstract(参考訳): 放射線人工知能は急速に進歩しているが、ほとんどのシステムはドメインシフトの下で狭義にタスク固有であり、データ集約であり、脆弱である。
ファンデーションモデルは、より転送可能でデータ効率のよいソリューションを約束するが、既存のアプローチは規模が限られており、狭く評価されている。
ここでは, nnFoundation, complementary convolutional and transformer-based 3D radiological foundation modelを紹介する。
Human Radiome Project (THRP)で開発されたnnFoundationは、125の機関および公共データセットから2100万のCT、MRI、PET画像のボリュームをトレーニングしている。
セグメンテーション、検出、分類、レポート生成、画像検索にまたがる108のタスクにまたがって評価を行った。
全てのタスクタイプにおいて、私たちの畳み込みとトランスフォーマーに基づくnnFoundationモデルは、従来の3D基礎モデルとスクラッチからのトレーニングの両方より一貫して優れており、放射線画像の最先端のパフォーマンスを確立している。
畳み込み nnFoundation モデルは空間的に局所化されたタスクを支配下に置くのに対し、トランスフォーマーベースの nnFoundation モデルはグローバルな意味論的推論を必要とするタスクや凍結した設定で優れている。
ファンデーションモデルトポロジとポストホックのデータセット特性を動的に合わせることで、不均一な3D設定間の転送をさらに改善する。
これらの結果から, 移動可能な3次元ラジオロジカル性能は, 単一の普遍モデルではなく, スケーラブルな事前学習, 補完アーキテクチャ, データセット対応の相互運用によって制御されることがわかった。
我々は nnFoundation モデルを nnU-Net と nnDetection に統合し,既存の放射線学ワークフローをまたいだ即時適用を可能にする。
関連論文リスト
- TAP-CT: 3D Task-Agnostic Pretraining of Computed Tomography Foundation Models [39.00742360251856]
医療領域における既存の基礎モデル(FM)は、広範囲の微調整を必要とする場合や、リソース集約型デコーダの訓練に頼っている場合が多い。
我々は,CT基盤モデル(TAP-CT)のタスクに依存しない事前学習スイートを紹介する。
提案手法では,埋め込み,位置エンコーディング,ボリューム拡張のパッチ修正を対象とし,アーキテクチャの奥行きを認識している。
論文 参考訳(メタデータ) (2025-11-30T12:43:15Z) - Challenges in 3D Data Synthesis for Training Neural Networks on Topological Features [0.0]
トポロジカルデータ分析は、データの構造と接続性を分析する技術を含んでいる。
永続的ホモロジーのような伝統的な手法は、計算的に要求され、ニューラルネットワークベースの推定器の開発を動機付けている。
これらの手法を進化させる鍵となる障壁は、教師あり学習に特化したクラス分布と多様性を備えたラベル付き3Dデータの欠如である。
本稿では, 3次元畳み込み変換器アーキテクチャを用いて作成した, 属推定器ネットワークの学習に, 合成3次元データセットを用いる。
論文 参考訳(メタデータ) (2025-11-07T04:15:32Z) - Topology-Aware Modeling for Unsupervised Simulation-to-Reality Point Cloud Recognition [63.55828203989405]
我々はオブジェクトポイントクラウド上でSim2Real UDAのための新しいTopology-Aware Modeling (TAM)フレームワークを紹介する。
提案手法は,低レベルの高周波3次元構造を特徴とするグローバル空間トポロジを利用して,領域間隙を緩和する。
本稿では,クロスドメイン・コントラスト学習と自己学習を組み合わせた高度な自己学習戦略を提案する。
論文 参考訳(メタデータ) (2025-06-26T11:53:59Z) - Large EEG-U-Transformer for Time-Step Level Detection Without Pre-Training [1.3254304182988286]
局所的特徴と大域的特徴の両方を捉えることで表現を効率的に学習する単純なU字モデルを提案する。
他のウィンドウレベルの分類モデルと比較して,本手法は時間段階の予測を直接出力する。
我々のモデルは、てんかんおよび他の神経疾患における人工知能に関する国際会議において、2025年の第1回「青信号検出チャレンジ」で優勝した。
論文 参考訳(メタデータ) (2025-04-01T01:33:42Z) - Self-Supervised Radio Pre-training: Toward Foundational Models for Spectrogram Learning [6.1339395157466425]
Foundational Deep Learning(DL)モデルは、多種多様で多様なデータセットに基づいてトレーニングされた一般的なモデルである。
本稿では,無線信号を用いた基礎DLモデルの事前学習のための,新しい自己教師型学習手法であるMasked Spectrogram Modelingを紹介する。
論文 参考訳(メタデータ) (2024-11-14T23:56:57Z) - Boosting Cross-Domain Point Classification via Distilling Relational Priors from 2D Transformers [59.0181939916084]
従来の3Dネットワークは主に局所幾何学的詳細に焦点を当て、局所幾何学間の位相構造を無視する。
そこで本稿では,大規模画像上においてよく訓練されたトランスフォーマーから前駆体を抽出する,新しい先駆体蒸留法を提案する。
PointDA-10とSim-to-Realデータセットの実験は、提案手法が点クラウド分類におけるUDAの最先端性能を一貫して達成していることを検証する。
論文 参考訳(メタデータ) (2024-07-26T06:29:09Z) - Source-Free and Image-Only Unsupervised Domain Adaptation for Category
Level Object Pose Estimation [18.011044932979143]
3DUDAは、3Dや深度データを使わずに、ニュアンスドライデンのターゲットドメインに適応できる手法である。
対象のカテゴリを単純な立方体メッシュとして表現し、ニューラル特徴活性化の生成モデルを利用する。
本手法は,グローバルな擬似ラベル付きデータセットの微調整を軽度な仮定でシミュレートする。
論文 参考訳(メタデータ) (2024-01-19T17:48:05Z) - Self-supervised Feature Adaptation for 3D Industrial Anomaly Detection [59.41026558455904]
具体的には,大規模ビジュアルデータセット上で事前学習されたモデルを利用した初期のマルチモーダルアプローチについて検討する。
本研究では,アダプタを微調整し,異常検出に向けたタスク指向の表現を学習するためのLSFA法を提案する。
論文 参考訳(メタデータ) (2024-01-06T07:30:41Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳(メタデータ) (2023-04-05T07:28:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。