論文の概要: CT2Rep: Automated Radiology Report Generation for 3D Medical Imaging

• arxiv url: http://arxiv.org/abs/2403.06801v2
• Date: Thu, 4 Jul 2024 09:04:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 23:33:46.555455
• Title: CT2Rep: Automated Radiology Report Generation for 3D Medical Imaging
• Title（参考訳）: CT2Rep:3Dメディカルイメージングのための自動放射線診断レポート
• Authors: Ibrahim Ethem Hamamci, Sezgin Er, Bjoern Menze,
• Abstract要約: 胸部CTを対象とする3次元医用画像のラジオグラフィーレポート作成法について紹介する。 比較手法が存在しないことから,医用画像における高度な3次元視覚エンコーダを用いたベースラインを構築し,本手法の有効性を実証する。 我々は,CT2Repをクロスアテンションベースのマルチモーダル融合モジュールと階層メモリで拡張し,縦型マルチモーダルデータの取り込みを可能にした。
• 参考スコア（独自算出の注目度）: 0.20754235913398283
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Medical imaging plays a crucial role in diagnosis, with radiology reports serving as vital documentation. Automating report generation has emerged as a critical need to alleviate the workload of radiologists. While machine learning has facilitated report generation for 2D medical imaging, extending this to 3D has been unexplored due to computational complexity and data scarcity. We introduce the first method to generate radiology reports for 3D medical imaging, specifically targeting chest CT volumes. Given the absence of comparable methods, we establish a baseline using an advanced 3D vision encoder in medical imaging to demonstrate our method's effectiveness, which leverages a novel auto-regressive causal transformer. Furthermore, recognizing the benefits of leveraging information from previous visits, we augment CT2Rep with a cross-attention-based multi-modal fusion module and hierarchical memory, enabling the incorporation of longitudinal multimodal data. Access our code at https://github.com/ibrahimethemhamamci/CT2Rep
• Abstract（参考訳）: 医用画像は診断において重要な役割を担い、放射線診断報告は重要な文書として機能する。 放射線技師の作業負荷を軽減するために、レポート生成の自動化が重要な必要性として浮上している。 機械学習は2D医療画像のレポート生成を促進する一方で、これを3Dに拡張することは、計算の複雑さとデータの不足のために未解明である。 胸部CTボリュームを対象とする3次元医用画像のラジオグラフィーレポート作成法について紹介する。 比較手法が存在しないことから,医用画像における高度な3次元視覚エンコーダを用いたベースラインを構築し,新しい自己回帰型因果変換器を応用した手法の有効性を実証する。 さらに, 過去の訪問情報を活用する利点を認識し, クロスアテンションベースのマルチモーダルフュージョンモジュールと階層メモリによりCT2Repを増強し, 縦型マルチモーダルデータの取り込みを可能にした。 https://github.com/ibrahimethemhamamci/CT2Repでコードにアクセスします。

関連論文リスト

• 3D-CT-GPT: Generating 3D Radiology Reports through Integration of Large Vision-Language Models [51.855377054763345]
  本稿では,VQAに基づく医用視覚言語モデルである3D-CT-GPTについて紹介する。 パブリックデータセットとプライベートデータセットの両方の実験により、3D-CT-GPTはレポートの正確さと品質という点で既存の手法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-09-28T12:31:07Z)
• X-ray2CTPA: Generating 3D CTPA scans from 2D X-ray conditioning [24.233484690096898]
  胸部X線または胸部X線撮影(CXR)はCTスキャンと比較して限られた画像撮影を可能にする。 CTスキャンはCXRよりもコストが高く、放射線被曝も大きく、アクセス性も低い。 本研究では,2次元低コントラスト分解能X線入力から3次元高コントラストおよび空間分解能Aスキャンへのクロスモーダル変換について検討する。
  論文  参考訳（メタデータ） (2024-06-23T13:53:35Z)
• Benchmarking and Boosting Radiology Report Generation for 3D High-Resolution Medical Images [15.897686345011731]
  大規模言語モデル(LLM)に基づく高分解能(HR)3Dボリュームの放射線学レポートを効率的に生成する新しいフレームワークを提案する。 具体的には、低解像度(LR)視覚トークンをクエリとして使用し、HRトークンから情報をマイニングし、詳細なHR情報を保存し、計算コストを削減する。 BIMCV-RGは、5,328 HRのボリュームとペアのレポートを持つ新しいデータセットで、3D HRの医療画像からレポートを生成するための最初のベンチマークを確立します。
  論文  参考訳（メタデータ） (2024-06-11T10:45:59Z)
• Developing Generalist Foundation Models from a Multimodal Dataset for 3D Computed Tomography [1.8424705673580284]
  我々は3次元医用画像と対応するテキストレポートとをマッチングする最初のデータセットであるCT-RATEを紹介する。 我々はCTに焦点を当てたコントラスト言語画像事前学習フレームワークであるCT-CLIPを開発した。 我々は3次元胸部CTボリュームのための視覚言語基礎チャットモデルであるCT-CHATを作成する。
  論文  参考訳（メタデータ） (2024-03-26T16:19:56Z)
• SdCT-GAN: Reconstructing CT from Biplanar X-Rays with Self-driven Generative Adversarial Networks [6.624839896733912]
  本稿では,3次元CT画像の再構成のための自己駆動型生成対向ネットワークモデル(SdCT-GAN)を提案する。 識別器に新しいオートエンコーダ構造を導入することにより、画像の詳細により多くの注意を払っている。 LPIPS評価基準は,既存画像よりも微細な輪郭やテクスチャを定量的に評価できる。
  論文  参考訳（メタデータ） (2023-09-10T08:16:02Z)
• View-Disentangled Transformer for Brain Lesion Detection [50.4918615815066]
  より正確な腫瘍検出のためのMRI特徴抽出のための新しいビューディペンタングル変換器を提案する。 まず, 3次元脳スキャンにおいて, 異なる位置の長距離相関を求める。 第二に、トランスフォーマーはスライス機能のスタックを複数の2Dビューとしてモデル化し、これらの機能をビュー・バイ・ビューとして拡張する。 第三に、提案したトランスモジュールをトランスのバックボーンに展開し、脳病変を取り巻く2D領域を効果的に検出する。
  論文  参考訳（メタデータ） (2022-09-20T11:58:23Z)
• AlignTransformer: Hierarchical Alignment of Visual Regions and Disease Tags for Medical Report Generation [50.21065317817769]
  本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。 パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
  論文  参考訳（メタデータ） (2022-03-18T13:43:53Z)
• A unified 3D framework for Organs at Risk Localization and Segmentation for Radiation Therapy Planning [56.52933974838905]
  現在の医療ワークフローは、OAR(Organs-at-risk)のマニュアル記述を必要とする 本研究は,OARローカライゼーション・セグメンテーションのための統合された3Dパイプラインの導入を目的とする。 提案手法は医用画像に固有の3Dコンテキスト情報の活用を可能にする。
  論文  参考訳（メタデータ） (2022-03-01T17:08:41Z)
• XraySyn: Realistic View Synthesis From a Single Radiograph Through CT Priors [118.27130593216096]
  放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。 私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。 本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
  論文  参考訳（メタデータ） (2020-12-04T05:08:53Z)
• Fed-Sim: Federated Simulation for Medical Imaging [131.56325440976207]
  本稿では、2つの学習可能なニューラルモジュールからなる物理駆動型生成手法を提案する。 データ合成フレームワークは、複数のデータセットの下流セグメンテーション性能を改善する。
  論文  参考訳（メタデータ） (2020-09-01T19:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。