論文の概要: CT2Rep: Automated Radiology Report Generation for 3D Medical Imaging
- arxiv url: http://arxiv.org/abs/2403.06801v1
- Date: Mon, 11 Mar 2024 15:17:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:32:08.634419
- Title: CT2Rep: Automated Radiology Report Generation for 3D Medical Imaging
- Title(参考訳): CT2Rep:3Dメディカルイメージングのための自動放射線診断レポート
- Authors: Ibrahim Ethem Hamamci, Sezgin Er, Bjoern Menze
- Abstract要約: 胸部CTを対象とする3次元医用画像のラジオグラフィーレポート作成法について紹介する。
比較手法が存在しないことから,医用画像における高度な3次元視覚エンコーダを用いたベースラインを構築し,本手法の有効性を実証する。
我々は,CT2Repをクロスアテンションベースのマルチモーダル融合モジュールと階層メモリで拡張し,縦型マルチモーダルデータの取り込みを可能にした。
- 参考スコア(独自算出の注目度): 0.23325681283597274
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Medical imaging plays a crucial role in diagnosis, with radiology reports
serving as vital documentation. Automating report generation has emerged as a
critical need to alleviate the workload of radiologists. While machine learning
has facilitated report generation for 2D medical imaging, extending this to 3D
has been unexplored due to computational complexity and data scarcity. We
introduce the first method to generate radiology reports for 3D medical
imaging, specifically targeting chest CT volumes. Given the absence of
comparable methods, we establish a baseline using an advanced 3D vision encoder
in medical imaging to demonstrate our method's effectiveness, which leverages a
novel auto-regressive causal transformer. Furthermore, recognizing the benefits
of leveraging information from previous visits, we augment CT2Rep with a
cross-attention-based multi-modal fusion module and hierarchical memory,
enabling the incorporation of longitudinal multimodal data. Access our code at:
https://github.com/ibrahimethemhamamci/CT2Rep
- Abstract(参考訳): 医療画像は診断において重要な役割を担い、放射線診断報告は重要な文書として機能する。
レポート生成の自動化は、放射線科医の作業負荷を軽減するための重要なニーズとして現れてきた。
機械学習は2D医療画像のレポート生成を促進する一方で、これを3Dに拡張することは、計算の複雑さとデータの不足のために未解明である。
胸部CTボリュームを対象とする3次元医用画像の放射線診断レポート作成法について紹介する。
比較方法の欠如を考慮し,医療画像における先進的3次元視覚エンコーダを用いたベースラインを確立し,新しい自己回帰因果変換器を用いた手法の有効性を実証する。
さらに, 過去の訪問情報を活用する利点を認識し, クロスアテンションベースのマルチモーダル融合モジュールと階層メモリによりCT2Repを増強し, 縦型マルチモーダルデータの取り込みを可能にする。
コードへのアクセス: https://github.com/ibrahimethemhamamci/ct2rep
関連論文リスト
- SdCT-GAN: Reconstructing CT from Biplanar X-Rays with Self-driven
Generative Adversarial Networks [6.624839896733912]
本稿では,3次元CT画像の再構成のための自己駆動型生成対向ネットワークモデル(SdCT-GAN)を提案する。
識別器に新しいオートエンコーダ構造を導入することにより、画像の詳細により多くの注意を払っている。
LPIPS評価基準は,既存画像よりも微細な輪郭やテクスチャを定量的に評価できる。
論文 参考訳(メタデータ) (2023-09-10T08:16:02Z) - Towards Generalist Foundation Model for Radiology by Leveraging
Web-scale 2D&3D Medical Data [66.9359934608229]
この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。
われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。
本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
論文 参考訳(メタデータ) (2023-08-04T17:00:38Z) - View-Disentangled Transformer for Brain Lesion Detection [50.4918615815066]
より正確な腫瘍検出のためのMRI特徴抽出のための新しいビューディペンタングル変換器を提案する。
まず, 3次元脳スキャンにおいて, 異なる位置の長距離相関を求める。
第二に、トランスフォーマーはスライス機能のスタックを複数の2Dビューとしてモデル化し、これらの機能をビュー・バイ・ビューとして拡張する。
第三に、提案したトランスモジュールをトランスのバックボーンに展開し、脳病変を取り巻く2D領域を効果的に検出する。
論文 参考訳(メタデータ) (2022-09-20T11:58:23Z) - AlignTransformer: Hierarchical Alignment of Visual Regions and Disease
Tags for Medical Report Generation [50.21065317817769]
本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。
パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
論文 参考訳(メタデータ) (2022-03-18T13:43:53Z) - A unified 3D framework for Organs at Risk Localization and Segmentation
for Radiation Therapy Planning [56.52933974838905]
現在の医療ワークフローは、OAR(Organs-at-risk)のマニュアル記述を必要とする
本研究は,OARローカライゼーション・セグメンテーションのための統合された3Dパイプラインの導入を目的とする。
提案手法は医用画像に固有の3Dコンテキスト情報の活用を可能にする。
論文 参考訳(メタデータ) (2022-03-01T17:08:41Z) - Medical Transformer: Universal Brain Encoder for 3D MRI Analysis [1.6287500717172143]
既存の3Dベースの手法は、トレーニング済みのモデルを下流のタスクに転送している。
彼らは3D医療イメージングのためのモデルを訓練するために大量のパラメータを要求します。
本稿では,2次元画像スライス形式で3次元容積画像を効果的にモデル化する,メディカルトランスフォーマーと呼ばれる新しい伝達学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-04-28T08:34:21Z) - XraySyn: Realistic View Synthesis From a Single Radiograph Through CT
Priors [118.27130593216096]
放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。
私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。
本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
論文 参考訳(メタデータ) (2020-12-04T05:08:53Z) - Planar 3D Transfer Learning for End to End Unimodal MRI Unbalanced Data
Segmentation [0.0]
本稿では,事前学習した2次元畳み込みニューラルネットワーク重みを平面3次元カーネルにマッピングする手法を提案する。
提案手法は2次元VGG-16から転送されるエンコーダを備えた平面3Dres-u-netネットワークにより検証される。
論文 参考訳(メタデータ) (2020-11-23T17:11:50Z) - Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。
データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
論文 参考訳(メタデータ) (2020-09-01T19:17:46Z) - XRayGAN: Consistency-preserving Generation of X-ray Images from
Radiology Reports [19.360283053558604]
我々は,X線画像から高精細・高精細・高精細・高精細なX線画像を生成する手法を開発した。
この研究は、放射線学報告から一貫した高解像度のX線画像を生成する最初のものである。
論文 参考訳(メタデータ) (2020-06-17T05:32:14Z) - End-To-End Convolutional Neural Network for 3D Reconstruction of Knee
Bones From Bi-Planar X-Ray Images [6.645111950779666]
両平面X線画像から直接膝骨を3次元再構成するためのエンドツーエンド畳み込みニューラルネットワーク(CNN)を提案する。
論文 参考訳(メタデータ) (2020-04-02T08:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。