論文の概要: Models Genesis
- arxiv url: http://arxiv.org/abs/2004.07882v4
- Date: Wed, 16 Dec 2020 19:58:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 03:20:55.822819
- Title: Models Genesis
- Title(参考訳): モデル生成
- Authors: Zongwei Zhou, Vatsal Sodha, Jiaxuan Pang, Michael B. Gotway, Jianming
Liang
- Abstract要約: 自然画像から医用画像への変換学習は、医用画像解析のためのディープラーニングにおける最も実践的なパラダイムの1つとして確立されている。
この制限を克服するため、私たちはGeneric Autodidactic Modelsと呼ばれるモデルセットを構築しました。
実験の結果, 対象とする5つの3Dアプリケーションすべてにおいて, 既存のトレーニング済み3Dモデルとスクラッチから学習を著しく上回る結果が得られた。
- 参考スコア(独自算出の注目度): 10.929445262793116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transfer learning from natural images to medical images has been established
as one of the most practical paradigms in deep learning for medical image
analysis. To fit this paradigm, however, 3D imaging tasks in the most prominent
imaging modalities (e.g., CT and MRI) have to be reformulated and solved in 2D,
losing rich 3D anatomical information, thereby inevitably compromising its
performance. To overcome this limitation, we have built a set of models, called
Generic Autodidactic Models, nicknamed Models Genesis, because they are created
ex nihilo (with no manual labeling), self-taught (learnt by self-supervision),
and generic (served as source models for generating application-specific target
models). Our extensive experiments demonstrate that our Models Genesis
significantly outperform learning from scratch and existing pre-trained 3D
models in all five target 3D applications covering both segmentation and
classification. More importantly, learning a model from scratch simply in 3D
may not necessarily yield performance better than transfer learning from
ImageNet in 2D, but our Models Genesis consistently top any 2D/2.5D approaches
including fine-tuning the models pre-trained from ImageNet as well as
fine-tuning the 2D versions of our Models Genesis, confirming the importance of
3D anatomical information and significance of Models Genesis for 3D medical
imaging. This performance is attributed to our unified self-supervised learning
framework, built on a simple yet powerful observation: the sophisticated and
recurrent anatomy in medical images can serve as strong yet free supervision
signals for deep models to learn common anatomical representation automatically
via self-supervision. As open science, all codes and pre-trained Models Genesis
are available at https://github.com/MrGiovanni/ModelsGenesis.
- Abstract(参考訳): 自然画像から医学画像への学習は、医学画像解析におけるディープラーニングの最も実用的なパラダイムの1つとして確立されている。
しかし、このパラダイムに適合するためには、最も顕著な画像モダリティ(例えば、CTやMRI)における3Dイメージングタスクを2Dで再構成して解決する必要がある。
この制限を克服するため、私たちはGeneric Autodidactic Modelsと呼ばれるモデルセットを構築しました。それは、ex nihilo(手動ラベリングなしで)、self-taught(セルフスーパービジョンで取得)、ジェネリック(アプリケーション固有のターゲットモデルを生成するためのソースモデルとして保存されている)を作成するためです。
我々のモデル生成は、スクラッチと既存のトレーニング済み3Dモデルから、セグメンテーションと分類の両方をカバーする5つのターゲット3Dアプリケーションにおいて、学習を著しく上回ることを示した。
より重要なことは、単に3dでスクラッチからモデルを学ぶだけでは、imagenetから2dでトランスファー学習よりもパフォーマンスが向上するとは限らないが、我々のモデル創成は、imagenetから事前トレーニングされたモデルを微調整することや、2dバージョンのモデル創成を微調整することを含む、あらゆる2d/2.5dアプローチを一貫して上回っており、3d解剖情報の重要性と3d医療画像におけるモデル創成の重要性を確認している。
医用画像の高度で反復的な解剖学は、ディープモデルが自己監督を通じて共通の解剖学的表現を自動的に学習するための強力な、かつ自由な監視信号として機能する。
オープンサイエンスとして、すべてのコードと事前訓練されたModels Genesisはhttps://github.com/MrGiovanni/ModelsGenesisで入手できる。
関連論文リスト
- Learning the 3D Fauna of the Web [72.64482902037545]
3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。
動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。
従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
論文 参考訳(メタデータ) (2024-01-04T18:32:48Z) - Cross-view and Cross-pose Completion for 3D Human Understanding [16.11243039311909]
画像のみを用いて人間中心のデータを扱う自己教師付き学習に基づく事前学習手法を提案する。
身体中心タスクのためのモデルと手中心タスクのためのモデルを事前訓練する。
汎用的なトランスフォーマーアーキテクチャでは、これらのモデルは、広範囲の人間中心の下流タスクにおいて、既存の自己教師付き事前学習方法より優れている。
論文 参考訳(メタデータ) (2023-11-15T16:51:18Z) - Leveraging Large-Scale Pretrained Vision Foundation Models for
Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。
我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。
本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
論文 参考訳(メタデータ) (2023-11-03T15:41:15Z) - Promise:Prompt-driven 3D Medical Image Segmentation Using Pretrained
Image Foundation Models [13.08275555017179]
単点プロンプトのみを用いたプロンプト駆動型3次元医用画像分割モデルProMISeを提案する。
今回,大腸癌と膵腫瘍の2つの領域に分布する2つのパブリックデータセットについて検討した。
論文 参考訳(メタデータ) (2023-10-30T16:49:03Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z) - Take-A-Photo: 3D-to-2D Generative Pre-training of Point Cloud Models [97.58685709663287]
生成事前学習は、2次元視覚における基本モデルの性能を高めることができる。
3Dビジョンでは、トランスフォーマーベースのバックボーンの過度な信頼性と、点雲の秩序のない性質により、生成前のトレーニングのさらなる発展が制限されている。
本稿では,任意の点クラウドモデルに適用可能な3D-to-2D生成事前学習法を提案する。
論文 参考訳(メタデータ) (2023-07-27T16:07:03Z) - AG3D: Learning to Generate 3D Avatars from 2D Image Collections [96.28021214088746]
本稿では,2次元画像から現実的な3次元人物の新たな逆生成モデルを提案する。
本手法は, 全身型3Dジェネレータを用いて, 体の形状と変形を捉える。
提案手法は, 従来の3次元・調音認識手法よりも幾何的, 外観的に優れていた。
論文 参考訳(メタデータ) (2023-05-03T17:56:24Z) - HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。
我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
論文 参考訳(メタデータ) (2023-03-29T07:35:56Z) - Oral-3Dv2: 3D Oral Reconstruction from Panoramic X-Ray Imaging with
Implicit Neural Representation [3.8215162658168524]
Oral-3Dv2は、単一のパノラマX線画像から3Dラジオロジーを再構成する非逆学習モデルである。
本モデルは,2次元座標を3次元空間内のボクセルの密度値にマッピングすることにより,暗黙的に3次元口腔構造を表現することを学習する。
我々の知る限りでは、これは1枚のパノラマX線画像から3Dラジオグラフィ再構成における非逆学習モデルの最初の作品である。
論文 参考訳(メタデータ) (2023-03-21T18:17:27Z) - Transferring Models Trained on Natural Images to 3D MRI via Position
Encoded Slice Models [14.42534860640976]
2D-Slice-CNNアーキテクチャは、すべてのMRIスライスを2Dエンコーダに埋め込む。
トレーニング済みのモデルが2Dエンコーダとして機能できるという知見を得て、2DエンコーダをImageNetで初期化し、2つのニューロイメージングタスクでそれらを上回り、スクラッチからトレーニングする。
論文 参考訳(メタデータ) (2023-03-02T18:52:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。