論文の概要: Bootstrapping Chest CT Image Understanding by Distilling Knowledge from X-ray Expert Models
- arxiv url: http://arxiv.org/abs/2404.04936v1
- Date: Sun, 7 Apr 2024 12:17:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-09 18:51:34.443505
- Title: Bootstrapping Chest CT Image Understanding by Distilling Knowledge from X-ray Expert Models
- Title（参考訳）: X線エキスパートモデルからの知識の蒸留による胸部CT画像のブートストラップ化
- Authors: Weiwei Cao, Jianpeng Zhang, Yingda Xia, Tony C. W. Mok, Zi Li, Xianghua Ye, Le Lu, Jian Zheng, Yuxing Tang, Ling Zhang,
- Abstract要約: 胸部CT画像における言語利用の可能性について検討した。
胸部CT画像の理解を胸部関連診断知識を, 広く訓練された2次元X線専門家モデルから抽出し, 胸部CT画像の理解をブートストラップした。
胸部CT画像と放射線検査で12,000対以上の画像でモデルを訓練した。
- 参考スコア（独自算出の注目度）: 17.75505740079875
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Radiologists highly desire fully automated versatile AI for medical imaging interpretation. However, the lack of extensively annotated large-scale multi-disease datasets has hindered the achievement of this goal. In this paper, we explore the feasibility of leveraging language as a naturally high-quality supervision for chest CT imaging. In light of the limited availability of image-report pairs, we bootstrap the understanding of 3D chest CT images by distilling chest-related diagnostic knowledge from an extensively pre-trained 2D X-ray expert model. Specifically, we propose a language-guided retrieval method to match each 3D CT image with its semantically closest 2D X-ray image, and perform pair-wise and semantic relation knowledge distillation. Subsequently, we use contrastive learning to align images and reports within the same patient while distinguishing them from the other patients. However, the challenge arises when patients have similar semantic diagnoses, such as healthy patients, potentially confusing if treated as negatives. We introduce a robust contrastive learning that identifies and corrects these false negatives. We train our model with over 12,000 pairs of chest CT images and radiology reports. Extensive experiments across multiple scenarios, including zero-shot learning, report generation, and fine-tuning processes, demonstrate the model's feasibility in interpreting chest CT images.
- Abstract（参考訳）: 放射線技師は医療画像解釈のための完全自動化多目的AIを強く望んでいる。
しかし、注釈付き大規模マルチディスリーズデータセットの欠如は、この目標達成を妨げている。
本稿では,胸部CT画像における言語利用の可能性について検討する。
胸部CT画像の理解を胸部関連診断知識を, 広範囲に訓練した2次元X線専門家モデルから抽出し, 胸部CT画像の理解をブートストラップした。
具体的には,各3次元CT画像とセマンティックに最も近い2次元X線画像とをマッチングし,ペアワイズおよびセマンティックな関係知識蒸留を行う言語誘導検索手法を提案する。
その後, コントラスト学習を用いて画像と報告を同一患者内に配置し, 他の患者と区別する。
しかし、健康な患者のような類似した意味診断がある患者が、陰性として治療すれば混乱する可能性がある場合に、この課題が生じる。
我々は、これらの偽陰性を識別し、修正する頑健な対照的な学習を導入する。
胸部CT画像と放射線検査で12,000対以上の画像でモデルを訓練した。
ゼロショット学習、レポート生成、微調整プロセスを含む複数のシナリオにわたる大規模な実験は、胸部CT画像の解釈におけるモデルの有効性を実証している。
関連論文リスト
- 3D-CT-GPT: Generating 3D Radiology Reports through Integration of Large Vision-Language Models [51.855377054763345]
本稿では,VQAに基づく医用視覚言語モデルである3D-CT-GPTについて紹介する。
パブリックデータセットとプライベートデータセットの両方の実験により、3D-CT-GPTはレポートの正確さと品質という点で既存の手法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2024-09-28T12:31:07Z) - X-ray2CTPA: Generating 3D CTPA scans from 2D X-ray conditioning [24.233484690096898]
胸部X線または胸部X線撮影(CXR)はCTスキャンと比較して限られた画像撮影を可能にする。
CTスキャンはCXRよりもコストが高く、放射線被曝も大きく、アクセス性も低い。
本研究では,2次元低コントラスト分解能X線入力から3次元高コントラストおよび空間分解能Aスキャンへのクロスモーダル変換について検討する。
論文 参考訳（メタデータ） (2024-06-23T13:53:35Z) - CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。
本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
論文 参考訳（メタデータ） (2024-04-23T17:59:01Z) - Developing Generalist Foundation Models from a Multimodal Dataset for 3D Computed Tomography [1.8424705673580284]
我々は3次元医用画像と対応するテキストレポートとをマッチングする最初のデータセットであるCT-RATEを紹介する。
我々はCTに焦点を当てたコントラスト言語画像事前学習フレームワークであるCT-CLIPを開発した。
我々は3次元胸部CTボリュームのための視覚言語基礎チャットモデルであるCT-CHATを作成する。
論文 参考訳（メタデータ） (2024-03-26T16:19:56Z) - Improving Computed Tomography (CT) Reconstruction via 3D Shape Induction [3.1498833540989413]
再現モデルのトレーニング中に現実的なX線分布を取り入れた新しい手法として,CTの監督なしに3次元CTの形状を学習する形状誘導法を提案する。
本研究は, 肺疾患におけるCTの知覚的品質と下流分類の精度を両立させることを実証した。
論文 参考訳（メタデータ） (2022-08-23T13:06:02Z) - Improving Tuberculosis (TB) Prediction using Synthetically Generated
Computed Tomography (CT) Images [0.17499351967216337]
肺感染症はCT(Computed tomography)スキャンで診断され評価されることが多い。
異なるタイプの撮像方法であるX線は安価で、しばしばベッドサイドで利用でき、より広く利用することができるが、よりシンプルで2次元の画像を提供する。
我々は,X線画像からCT画像を生成することを学習するモデルに頼って,疾患の自動分類精度を向上させることができることを示す。
論文 参考訳（メタデータ） (2021-09-23T16:35:15Z) - A Multi-Stage Attentive Transfer Learning Framework for Improving
COVID-19 Diagnosis [49.3704402041314]
新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。
提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。
本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-01-14T01:39:19Z) - XraySyn: Realistic View Synthesis From a Single Radiograph Through CT
Priors [118.27130593216096]
放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。
私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。
本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
論文 参考訳（メタデータ） (2020-12-04T05:08:53Z) - Convolutional-LSTM for Multi-Image to Single Output Medical Prediction [55.41644538483948]
発展途上国の一般的なシナリオは、複数の理由からボリュームメタデータが失われることである。
ヒトの診断過程を模倣したマルチイメージから単一診断モデルを得ることが可能である。
論文 参考訳（メタデータ） (2020-10-20T04:30:09Z) - XRayGAN: Consistency-preserving Generation of X-ray Images from
Radiology Reports [19.360283053558604]
我々は,X線画像から高精細・高精細・高精細・高精細なX線画像を生成する手法を開発した。
この研究は、放射線学報告から一貫した高解像度のX線画像を生成する最初のものである。
論文 参考訳（メタデータ） (2020-06-17T05:32:14Z) - Synergistic Learning of Lung Lobe Segmentation and Hierarchical
Multi-Instance Classification for Automated Severity Assessment of COVID-19
in CT Images [61.862364277007934]
3次元CT画像におけるCOVID-19の重症度自動評価のための相乗的学習フレームワークを提案する。
マルチタスクのディープネットワーク(M$2$UNet)が開発され、新型コロナウイルス患者の重症度を評価する。
われわれのM$2$UNetはパッチレベルのエンコーダと肺葉分画のためのセグメンテーションサブネットワークと重度評価のための分類サブネットワークから構成されている。
論文 参考訳（メタデータ） (2020-05-08T03:16:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。