論文の概要: GenerateCT: Text-Guided 3D Chest CT Generation
- arxiv url: http://arxiv.org/abs/2305.16037v2
- Date: Fri, 26 May 2023 08:47:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 10:30:40.560381
- Title: GenerateCT: Text-Guided 3D Chest CT Generation
- Title(参考訳): GenerateCT:テキストガイドによる3D胸部CT生成
- Authors: Ibrahim Ethem Hamamci, Sezgin Er, Enis Simsar, Alperen Tezcan, Ayse
Gulnihan Simsek, Furkan Almas, Sevval Nil Esirgun, Hadrien Reynaud, Sarthak
Pati, Christian Bluethgen, Bjoern Menze
- Abstract要約: 我々は,テキスト条件計算トモグラフィ(CT)生成のための最初の手法であるGenerateCTを紹介する。
GenerateCTは、トレーニング済みの大規模言語モデル、トランスフォーマーベースのテキストコンディショナリ3D胸部CT生成アーキテクチャ、テキストコンディショナリ空間超解像拡散モデルから構成される。
実験により,GenerateCTは医療用テキストプロンプトと整合した現実的,高解像度,高忠実な3D胸部CTボリュームを生成できることが示された。
- 参考スコア(独自算出の注目度): 0.08118298357541627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative modeling has experienced substantial progress in recent years,
particularly in text-to-image and text-to-video synthesis. However, the medical
field has not yet fully exploited the potential of large-scale foundational
models for synthetic data generation. In this paper, we introduce GenerateCT,
the first method for text-conditional computed tomography (CT) generation,
addressing the limitations in 3D medical imaging research and making our entire
framework open-source. GenerateCT consists of a pre-trained large language
model, a transformer-based text-conditional 3D chest CT generation
architecture, and a text-conditional spatial super-resolution diffusion model.
We also propose CT-ViT, which efficiently compresses CT volumes while
preserving auto-regressiveness in-depth, enabling the generation of 3D CT
volumes with variable numbers of axial slices. Our experiments demonstrate that
GenerateCT can produce realistic, high-resolution, and high-fidelity 3D chest
CT volumes consistent with medical language text prompts. We further
investigate the potential of GenerateCT by training a model using generated CT
volumes for multi-abnormality classification of chest CT volumes. Our
contributions provide a valuable foundation for future research in
text-conditional 3D medical image generation and have the potential to
accelerate advancements in medical imaging research. Our code, pre-trained
models, and generated data are available at
https://github.com/ibrahimethemhamamci/GenerateCT.
- Abstract(参考訳): 生成モデリングは近年,特にテキスト・ツー・イメージやテキスト・ツー・ビデオ合成において,大きな進歩を遂げている。
しかし、医療分野はまだ、合成データ生成のための大規模基盤モデルの可能性を完全に活用していない。
本稿では,3次元医用画像研究の限界に対処し,我々のフレームワーク全体をオープンソース化するテキスト条件計算断層撮影(CT)の最初の手法であるGenerateCTを紹介する。
GenerateCTは、トレーニング済みの大規模言語モデル、トランスフォーマーベースのテキストコンディショナリ3D胸部CT生成アーキテクチャ、テキストコンディショナリ空間超解像拡散モデルから構成される。
また,ct-vitを提案する。ctボリュームの圧縮を効率良く行うとともに,自己回帰性を深く保ちながら,軸スライス数の可変な3次元ctボリュームの生成を可能にする。
実験により,GenerateCTは医療用テキストプロンプトと整合した現実的,高解像度,高忠実な3D胸部CTボリュームを生成できることが示された。
胸部CTボリュームの多異常度分類のための生成CTボリュームを用いたモデルを用いて,GenerateCTの可能性について検討した。
私たちの貢献は,テキスト条件3次元医用画像生成における今後の研究のための貴重な基盤を提供し,医用画像研究の進展を加速する可能性を秘めている。
我々のコード、事前訓練されたモデル、および生成されたデータはhttps://github.com/ibrahimethemhamamci/GenerateCTで入手できる。
関連論文リスト
- Brain Tumor Radiogenomic Classification [1.8276368987462532]
2次分類によるグリオ芽腫のMGMTバイオマーカー状態の予測を目的としたRSNA-MICCAI脳腫瘍ラジオゲノミクス分類の試み
データセットはトレーニングセット、トレーニング中に使用された検証セット、最終評価時にのみ使用されるテストの3つの主要なコホートに分割される。
論文 参考訳(メタデータ) (2024-01-11T10:30:09Z) - VolumeDiffusion: Flexible Text-to-3D Generation with Efficient Volumetric Encoder [56.59814904526965]
本稿では,テキストから3D生成のための先駆的な3Dエンコーダを提案する。
マルチビュー画像から特徴ボリュームを効率よく取得する軽量ネットワークを開発した。
3Dボリュームは、3D U-Netを使用してテキストから3D生成のための拡散モデルに基づいて訓練される。
論文 参考訳(メタデータ) (2023-12-18T18:59:05Z) - Contrastive Transformer Learning with Proximity Data Generation for
Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。
このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。
本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文 参考訳(メタデータ) (2023-11-15T16:26:49Z) - Towards Unifying Anatomy Segmentation: Automated Generation of a
Full-body CT Dataset via Knowledge Aggregation and Anatomical Guidelines [113.08940153125616]
我々は533巻のボクセルレベルのラベルを142ドル(約1万2000円)で、全身CTスキャンのデータセットを作成し、解剖学的包括的カバレッジを提供する。
提案手法はラベル集約段階において手作業によるアノテーションに依存しない。
我々はCTデータに142ドルの解剖学的構造を予測できる統一解剖学的セグメンテーションモデルをリリースする。
論文 参考訳(メタデータ) (2023-07-25T09:48:13Z) - 2DeteCT -- A large 2D expandable, trainable, experimental Computed
Tomography dataset for machine learning [1.0266286487433585]
機械学習技術の開発に適した,汎用的でオープンな2次元ファンビームCTデータセットを提供する。
形状, 密度の異なる多種多様な試料をスライス・バイ・スライスでスキャンした。
我々は、オープンソースのデータ処理パイプラインに基づいて、生のプロジェクションデータ、参照再構成、セグメンテーションを提供する。
論文 参考訳(メタデータ) (2023-06-09T14:02:53Z) - Training on Thin Air: Improve Image Classification with Generated Data [28.96941414724037]
Diffusion Inversionは、画像分類のための多種多様な高品質なトレーニングデータを生成するための、シンプルで効果的な方法である。
提案手法は,元のデータ分布を捕捉し,画像を安定拡散の潜在空間に反転させることにより,データカバレッジを確保する。
生成した画像が元のデータセットに取って代わることに成功した3つの重要なコンポーネントを特定します。
論文 参考訳(メタデータ) (2023-05-24T16:33:02Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - Using the Order of Tomographic Slices as a Prior for Neural Networks
Pre-Training [1.1470070927586016]
ボリュームの代わりにスライス上でSortingLossを事前学習する手法を提案する。
ボリュームではなくスライスで事前トレーニングを行うので、スライスのスパースセットでモデルを微調整することができる。
提案手法はSimCLRと同等に動作し、2倍高速に動作し、1.5倍少ないメモリを必要とすることを示す。
論文 参考訳(メタデータ) (2022-03-17T14:58:15Z) - Toward Generating Synthetic CT Volumes using a 3D-Conditional Generative
Adversarial Network [1.5846249630722484]
雑音および/または画素近似からボクセル内の3次元CTスキャンを生成することができる条件付き生成逆ネットワーク(cGAN)アーキテクチャ。
条件付きcGANは3次元CTボリュームを生成するための抽出可能なアプローチであると考えている。
論文 参考訳(メタデータ) (2021-04-02T12:25:37Z) - TSGCNet: Discriminative Geometric Feature Learning with Two-Stream
GraphConvolutional Network for 3D Dental Model Segmentation [141.2690520327948]
2流グラフ畳み込みネットワーク(TSGCNet)を提案し、異なる幾何学的特性から多視点情報を学ぶ。
3次元口腔内スキャナーで得られた歯科モデルのリアルタイムデータセットを用いてTSGCNetの評価を行った。
論文 参考訳(メタデータ) (2020-12-26T08:02:56Z) - MetricUNet: Synergistic Image- and Voxel-Level Learning for Precise CT
Prostate Segmentation via Online Sampling [66.01558025094333]
本稿では,前立腺領域を高速に局在させる第1段階と,前立腺領域を正確に区分する第2段階の2段階のフレームワークを提案する。
マルチタスクネットワークにおけるボクセルワイドサンプリングによる新しいオンラインメトリック学習モジュールを提案する。
本手法は,従来のクロスエントロピー学習法やDice損失学習法と比較して,より代表的なボクセルレベルの特徴を効果的に学習することができる。
論文 参考訳(メタデータ) (2020-05-15T10:37:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。