Fugu-MT 論文翻訳(概要): GenerateCT: Text-Guided 3D Chest CT Generation

論文の概要: GenerateCT: Text-Guided 3D Chest CT Generation

arxiv url: http://arxiv.org/abs/2305.16037v2
Date: Fri, 26 May 2023 08:47:50 GMT
ステータス: 処理完了
システム内更新日: 2023-05-29 10:30:40.560381
Title: GenerateCT: Text-Guided 3D Chest CT Generation
Title（参考訳）: GenerateCT:テキストガイドによる3D胸部CT生成
Authors: Ibrahim Ethem Hamamci, Sezgin Er, Enis Simsar, Alperen Tezcan, Ayse Gulnihan Simsek, Furkan Almas, Sevval Nil Esirgun, Hadrien Reynaud, Sarthak Pati, Christian Bluethgen, Bjoern Menze
Abstract要約: 我々は,テキスト条件計算トモグラフィ(CT)生成のための最初の手法であるGenerateCTを紹介する。 GenerateCTは、トレーニング済みの大規模言語モデル、トランスフォーマーベースのテキストコンディショナリ3D胸部CT生成アーキテクチャ、テキストコンディショナリ空間超解像拡散モデルから構成される。実験により,GenerateCTは医療用テキストプロンプトと整合した現実的,高解像度,高忠実な3D胸部CTボリュームを生成できることが示された。
参考スコア（独自算出の注目度）: 0.08118298357541627
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Generative modeling has experienced substantial progress in recent years, particularly in text-to-image and text-to-video synthesis. However, the medical field has not yet fully exploited the potential of large-scale foundational models for synthetic data generation. In this paper, we introduce GenerateCT, the first method for text-conditional computed tomography (CT) generation, addressing the limitations in 3D medical imaging research and making our entire framework open-source. GenerateCT consists of a pre-trained large language model, a transformer-based text-conditional 3D chest CT generation architecture, and a text-conditional spatial super-resolution diffusion model. We also propose CT-ViT, which efficiently compresses CT volumes while preserving auto-regressiveness in-depth, enabling the generation of 3D CT volumes with variable numbers of axial slices. Our experiments demonstrate that GenerateCT can produce realistic, high-resolution, and high-fidelity 3D chest CT volumes consistent with medical language text prompts. We further investigate the potential of GenerateCT by training a model using generated CT volumes for multi-abnormality classification of chest CT volumes. Our contributions provide a valuable foundation for future research in text-conditional 3D medical image generation and have the potential to accelerate advancements in medical imaging research. Our code, pre-trained models, and generated data are available at https://github.com/ibrahimethemhamamci/GenerateCT.
Abstract（参考訳）: 生成モデリングは近年,特にテキスト・ツー・イメージやテキスト・ツー・ビデオ合成において,大きな進歩を遂げている。しかし、医療分野はまだ、合成データ生成のための大規模基盤モデルの可能性を完全に活用していない。本稿では,3次元医用画像研究の限界に対処し,我々のフレームワーク全体をオープンソース化するテキスト条件計算断層撮影(CT)の最初の手法であるGenerateCTを紹介する。 GenerateCTは、トレーニング済みの大規模言語モデル、トランスフォーマーベースのテキストコンディショナリ3D胸部CT生成アーキテクチャ、テキストコンディショナリ空間超解像拡散モデルから構成される。また,ct-vitを提案する。ctボリュームの圧縮を効率良く行うとともに,自己回帰性を深く保ちながら,軸スライス数の可変な3次元ctボリュームの生成を可能にする。実験により,GenerateCTは医療用テキストプロンプトと整合した現実的,高解像度,高忠実な3D胸部CTボリュームを生成できることが示された。胸部CTボリュームの多異常度分類のための生成CTボリュームを用いたモデルを用いて,GenerateCTの可能性について検討した。私たちの貢献は,テキスト条件3次元医用画像生成における今後の研究のための貴重な基盤を提供し,医用画像研究の進展を加速する可能性を秘めている。我々のコード、事前訓練されたモデル、および生成されたデータはhttps://github.com/ibrahimethemhamamci/GenerateCTで入手できる。

関連論文リスト

CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
論文参考訳（メタデータ） (2024-04-23T17:59:01Z)
Brain Tumor Radiogenomic Classification [1.8276368987462532]
2次分類によるグリオ芽腫のMGMTバイオマーカー状態の予測を目的としたRSNA-MICCAI脳腫瘍ラジオゲノミクス分類の試みデータセットはトレーニングセット、トレーニング中に使用された検証セット、最終評価時にのみ使用されるテストの3つの主要なコホートに分割される。
論文参考訳（メタデータ） (2024-01-11T10:30:09Z)
Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
論文参考訳（メタデータ） (2023-11-15T16:26:49Z)
Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文参考訳（メタデータ） (2022-04-19T10:41:09Z)
Using the Order of Tomographic Slices as a Prior for Neural Networks Pre-Training [1.1470070927586016]
ボリュームの代わりにスライス上でSortingLossを事前学習する手法を提案する。ボリュームではなくスライスで事前トレーニングを行うので、スライスのスパースセットでモデルを微調整することができる。提案手法はSimCLRと同等に動作し、2倍高速に動作し、1.5倍少ないメモリを必要とすることを示す。
論文参考訳（メタデータ） (2022-03-17T14:58:15Z)
Simulation-Driven Training of Vision Transformers Enabling Metal Segmentation in X-Ray Images [6.416928579907334]
本研究は,CTデータセットとCADインプラントを組み合わせたシミュレーションX線画像を生成することを提案する。 CBCT射影における金属セグメンテーションは、金属アーティファクト回避および還元アルゴリズムの前提条件となる。本研究は,CADモデルに基づくデータ生成の柔軟性が向上し,臨床データサンプリングとラベル付けの不足を克服する手段となる可能性が示唆された。
論文参考訳（メタデータ） (2022-03-17T09:58:58Z)
Feature transforms for image data augmentation [74.12025519234153]
画像分類において、多くの拡張アプローチは単純な画像操作アルゴリズムを利用する。本研究では,14種類の拡張アプローチを組み合わせて生成した画像を追加することで,データレベルでのアンサンブルを構築する。事前トレーニングされたResNet50ネットワークは、各拡張メソッドから派生した画像を含むトレーニングセットに基づいて微調整される。
論文参考訳（メタデータ） (2022-01-24T14:12:29Z)
A hybrid deep learning framework for Covid-19 detection via 3D Chest CT Images [5.3708513698154015]
本稿では,畳み込みニューラルネットワークとトランスフォーマーを組み合わせた3D胸部CT画像によるCOVID-19検出のためのハイブリッドディープラーニングフレームワークCTNetを提案する。これは、CTスキャンから十分な特徴を抽出するためにSEが注目するCNN特徴抽出モジュールと、3D CTスキャンの識別特徴をモデル化するトランスフォーマーモデルで構成されている。
論文参考訳（メタデータ） (2021-07-08T15:37:46Z)
Toward Generating Synthetic CT Volumes using a 3D-Conditional Generative Adversarial Network [1.5846249630722484]
雑音および/または画素近似からボクセル内の3次元CTスキャンを生成することができる条件付き生成逆ネットワーク(cGAN)アーキテクチャ。条件付きcGANは3次元CTボリュームを生成するための抽出可能なアプローチであると考えている。
論文参考訳（メタデータ） (2021-04-02T12:25:37Z)
TSGCNet: Discriminative Geometric Feature Learning with Two-Stream GraphConvolutional Network for 3D Dental Model Segmentation [141.2690520327948]
2流グラフ畳み込みネットワーク(TSGCNet)を提案し、異なる幾何学的特性から多視点情報を学ぶ。 3次元口腔内スキャナーで得られた歯科モデルのリアルタイムデータセットを用いてTSGCNetの評価を行った。
論文参考訳（メタデータ） (2020-12-26T08:02:56Z)
Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文参考訳（メタデータ） (2020-09-01T19:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。