論文の概要: GenerateCT: Text-Conditional Generation of 3D Chest CT Volumes

• arxiv url: http://arxiv.org/abs/2305.16037v5
• Date: Fri, 12 Jul 2024 11:28:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 06:06:24.224524
• Title: GenerateCT: Text-Conditional Generation of 3D Chest CT Volumes
• Title（参考訳）: GenerateCT:3次元胸部CTボリュームのテキストコンディショナル生成
• Authors: Ibrahim Ethem Hamamci, Sezgin Er, Anjany Sekuboyina, Enis Simsar, Alperen Tezcan, Ayse Gulnihan Simsek, Sevval Nil Esirgun, Furkan Almas, Irem Dogan, Muhammed Furkan Dasdelen, Chinmay Prabhakar, Hadrien Reynaud, Sarthak Pati, Christian Bluethgen, Mehmet Kemal Ozdemir, Bjoern Menze,
• Abstract要約: GenerateCTは、フリーフォームの医療用テキストプロンプトに条件付けされた3D医療用画像を生成するための最初のアプローチである。 GenerateCTを最先端のメソッドと比較し、すべての主要な指標でその優位性を実証した。 GenerateCTは、任意のサイズの合成トレーニングデータセットのスケーリングを可能にする。
• 参考スコア（独自算出の注目度）: 2.410738584733268
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: GenerateCT, the first approach to generating 3D medical imaging conditioned on free-form medical text prompts, incorporates a text encoder and three key components: a novel causal vision transformer for encoding 3D CT volumes, a text-image transformer for aligning CT and text tokens, and a text-conditional super-resolution diffusion model. Without directly comparable methods in 3D medical imaging, we benchmarked GenerateCT against cutting-edge methods, demonstrating its superiority across all key metrics. Importantly, we evaluated GenerateCT's clinical applications in a multi-abnormality classification task. First, we established a baseline by training a multi-abnormality classifier on our real dataset. To further assess the model's generalization to external data and performance with unseen prompts in a zero-shot scenario, we employed an external set to train the classifier, setting an additional benchmark. We conducted two experiments in which we doubled the training datasets by synthesizing an equal number of volumes for each set using GenerateCT. The first experiment demonstrated an 11% improvement in the AP score when training the classifier jointly on real and generated volumes. The second experiment showed a 7% improvement when training on both real and generated volumes based on unseen prompts. Moreover, GenerateCT enables the scaling of synthetic training datasets to arbitrary sizes. As an example, we generated 100,000 3D CTs, fivefold the number in our real set, and trained the classifier exclusively on these synthetic CTs. Impressively, this classifier surpassed the performance of the one trained on all available real data by a margin of 8%. Last, domain experts evaluated the generated volumes, confirming a high degree of alignment with the text prompt. Access our code, model weights, training data, and generated data at https://github.com/ibrahimethemhamamci/GenerateCT
• Abstract（参考訳）: フリーフォームの医療用テキストプロンプトに条件付けされた3D医療用画像を生成するための最初のアプローチであるGenerateCTには、テキストエンコーダと3つの重要なコンポーネントが組み込まれている。 3D医療画像において直接的に同等の手法を使わずに、我々はGenerateCTを最先端の手法と比較し、すべての主要な指標でその優位性を実証した。 そこで我々はGenerateCTの臨床応用を多義性分類タスクで評価した。 まず,実データセット上でのマルチ異常度分類器のトレーニングにより,ベースラインを確立した。 ゼロショットシナリオにおいて、モデルが外部データに一般化し、未知のプロンプトで性能を評価するために、我々は、外部セットを用いて分類器を訓練し、追加のベンチマークを設定した。 我々は、GenerateCTを用いて、各セットに対して等しいボリュームを合成することで、トレーニングデータセットを2倍にした2つの実験を行った。 最初の実験では、実数と生成量で分類器を共同で訓練する際、APスコアが11%改善した。 第2の実験では、目に見えないプロンプトに基づいて、実数と生成量の両方のトレーニングで7%改善した。 さらに、GenerateCTは、任意のサイズの合成トレーニングデータセットのスケーリングを可能にする。 例として,実数集合の5倍の3次元CTを10万個生成し,これらの合成CTのみを用いて分類器を訓練した。 驚くべきことに、この分類器は、すべての利用可能な実データでトレーニングされたデータのパフォーマンスを8%上回った。 最後に、ドメインの専門家は生成されたボリュームを評価し、テキストプロンプトと高い整合性を確認した。 コード、モデルウェイト、トレーニングデータ、および生成されたデータにhttps://github.com/ibrahimethemhamamci/GenerateCTでアクセスします。

関連論文リスト

• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• GuideGen: A Text-Guided Framework for Full-torso Anatomy and CT Volume Generation [1.138481191622247]
  GuideGenは、フリーフォームのテキストプロンプトに基づいて、胸部から骨盤まで、解剖学的マスクとそれに対応するCTボリュームを生成する制御可能なフレームワークである。 提案手法は,リアルなフルトルソ解剖を作成するためのテキスト条件セマンティックシンセサイザー,コントラストを意識した様々なコントラストレベルの詳細な特徴抽出用オートエンコーダ,CT画像,解剖学的セマンティクス,入力プロンプト間のアライメントを保証する潜在特徴生成装置の3つのコアコンポーネントを含む。
  論文  参考訳（メタデータ） (2024-03-12T02:09:39Z)
• Brain Tumor Radiogenomic Classification [1.8276368987462532]
  2次分類によるグリオ芽腫のMGMTバイオマーカー状態の予測を目的としたRSNA-MICCAI脳腫瘍ラジオゲノミクス分類の試み データセットはトレーニングセット、トレーニング中に使用された検証セット、最終評価時にのみ使用されるテストの3つの主要なコホートに分割される。
  論文  参考訳（メタデータ） (2024-01-11T10:30:09Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• Two-Stream Graph Convolutional Network for Intra-oral Scanner Image Segmentation [133.02190910009384]
  本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。 TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-19T10:41:09Z)
• Using the Order of Tomographic Slices as a Prior for Neural Networks Pre-Training [1.1470070927586016]
  ボリュームの代わりにスライス上でSortingLossを事前学習する手法を提案する。 ボリュームではなくスライスで事前トレーニングを行うので、スライスのスパースセットでモデルを微調整することができる。 提案手法はSimCLRと同等に動作し、2倍高速に動作し、1.5倍少ないメモリを必要とすることを示す。
  論文  参考訳（メタデータ） (2022-03-17T14:58:15Z)
• Simulation-Driven Training of Vision Transformers Enabling Metal Segmentation in X-Ray Images [6.416928579907334]
  本研究は,CTデータセットとCADインプラントを組み合わせたシミュレーションX線画像を生成することを提案する。 CBCT射影における金属セグメンテーションは、金属アーティファクト回避および還元アルゴリズムの前提条件となる。 本研究は,CADモデルに基づくデータ生成の柔軟性が向上し,臨床データサンプリングとラベル付けの不足を克服する手段となる可能性が示唆された。
  論文  参考訳（メタデータ） (2022-03-17T09:58:58Z)
• Feature transforms for image data augmentation [74.12025519234153]
  画像分類において、多くの拡張アプローチは単純な画像操作アルゴリズムを利用する。 本研究では,14種類の拡張アプローチを組み合わせて生成した画像を追加することで,データレベルでのアンサンブルを構築する。 事前トレーニングされたResNet50ネットワークは、各拡張メソッドから派生した画像を含むトレーニングセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2022-01-24T14:12:29Z)
• A hybrid deep learning framework for Covid-19 detection via 3D Chest CT Images [5.3708513698154015]
  本稿では,畳み込みニューラルネットワークとトランスフォーマーを組み合わせた3D胸部CT画像によるCOVID-19検出のためのハイブリッドディープラーニングフレームワークCTNetを提案する。 これは、CTスキャンから十分な特徴を抽出するためにSEが注目するCNN特徴抽出モジュールと、3D CTスキャンの識別特徴をモデル化するトランスフォーマーモデルで構成されている。
  論文  参考訳（メタデータ） (2021-07-08T15:37:46Z)
• TSGCNet: Discriminative Geometric Feature Learning with Two-Stream GraphConvolutional Network for 3D Dental Model Segmentation [141.2690520327948]
  2流グラフ畳み込みネットワーク(TSGCNet)を提案し、異なる幾何学的特性から多視点情報を学ぶ。 3次元口腔内スキャナーで得られた歯科モデルのリアルタイムデータセットを用いてTSGCNetの評価を行った。
  論文  参考訳（メタデータ） (2020-12-26T08:02:56Z)
• Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
  本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。 データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
  論文  参考訳（メタデータ） (2020-09-01T19:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。