論文の概要: Recurrent Visual Feature Extraction and Stereo Attentions for CT Report Generation

• arxiv url: http://arxiv.org/abs/2506.19665v1
• Date: Tue, 24 Jun 2025 14:29:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.673611
• Title: Recurrent Visual Feature Extraction and Stereo Attentions for CT Report Generation
• Title（参考訳）: CTレポート作成のための連続的視覚特徴抽出とステレオアテンション
• Authors: Yuanhe Tian, Lei Mao, Yan Song,
• Abstract要約: 本稿では,大規模言語モデル (LLM) に基づくCTRG法を提案する。 具体的には、視覚変換器を用いて、各スライスをCTボリュームで繰り返し処理し、異なる視点から符号化したスライスに注意を払って重要な視覚情報を得る。 ベンチマークM3D-Capデータセットの実験結果とさらなる解析により,本手法が強いベースラインモデルより優れていることが示された。
• 参考スコア（独自算出の注目度）: 18.113659670915474
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating reports for computed tomography (CT) images is a challenging task, while similar to existing studies for medical image report generation, yet has its unique characteristics, such as spatial encoding of multiple images, alignment between image volume and texts, etc. Existing solutions typically use general 2D or 3D image processing techniques to extract features from a CT volume, where they firstly compress the volume and then divide the compressed CT slices into patches for visual encoding. These approaches do not explicitly account for the transformations among CT slices, nor do they effectively integrate multi-level image features, particularly those containing specific organ lesions, to instruct CT report generation (CTRG). In considering the strong correlation among consecutive slices in CT scans, in this paper, we propose a large language model (LLM) based CTRG method with recurrent visual feature extraction and stereo attentions for hierarchical feature modeling. Specifically, we use a vision Transformer to recurrently process each slice in a CT volume, and employ a set of attentions over the encoded slices from different perspectives to selectively obtain important visual information and align them with textual features, so as to better instruct an LLM for CTRG. Experiment results and further analysis on the benchmark M3D-Cap dataset show that our method outperforms strong baseline models and achieves state-of-the-art results, demonstrating its validity and effectiveness.
• Abstract（参考訳）: コンピュータ断層撮影(CT)画像のレポート作成は,既存の医用画像レポート作成研究と類似しているが,複数の画像の空間的エンコーディング,画像量とテキストの整合性など,その独特の特徴がある。 既存のソリューションは通常、一般的な2Dまたは3D画像処理技術を使用してCTボリュームから特徴を抽出し、最初にボリュームを圧縮し、圧縮されたCTスライスを視覚的エンコーディングのためにパッチに分割する。 これらのアプローチは、CTスライス間の変換を明示的に説明していないし、CTレポート生成(CTRG)を指示するために、特に特定の臓器病変を含むマルチレベル画像の特徴を効果的に統合していない。 本稿では,CTスキャンにおける連続スライス間の強い相関性を考慮した大規模言語モデル (LLM) に基づくCTRG法を提案する。 具体的には、視覚変換器を用いて、CTボリューム内の各スライスを逐次処理し、異なる視点から符号化されたスライスに注意を向け、重要な視覚情報を選択的に取得し、テキスト特徴と整合させ、CTRG用のLLMをより良く指示する。 ベンチマークM3D-Capデータセットにおける実験結果とさらなる解析により,本手法は強いベースラインモデルより優れ,最先端の結果が得られ,その妥当性と有効性を示す。

関連論文リスト

• CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios [53.94122089629544]
  我々は,CT-GLIP(Grounded Language- Image Pretraining with CT scans)を導入する。 本手法は,104臓器にわたる17,702症例を対象に,44,011例の臓器レベルの視覚テキストペアからなるマルチモーダルCTデータセットを用いて訓練し,自然言語を用いて臓器と異常をゼロショットで識別できることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T17:59:01Z)
• Developing Generalist Foundation Models from a Multimodal Dataset for 3D Computed Tomography [10.110878689623961]
  我々は3次元医用画像と対応するテキストレポートとをマッチングする最初のデータセットであるCT-RATEを紹介する。 我々はCTに焦点を当てたコントラスト言語画像事前学習フレームワークであるCT-CLIPを開発した。 我々は3次元胸部CTボリュームのための視覚言語基礎チャットモデルであるCT-CHATを作成する。
  論文  参考訳（メタデータ） (2024-03-26T16:19:56Z)
• Enhancing CT Image synthesis from multi-modal MRI data based on a multi-task neural network framework [16.864720020158906]
  拡張型Transformer U-Netアーキテクチャに基づく多目的マルチタスクニューラルネットワークフレームワークを提案する。 我々はCT画像を個別のサブタスクに分解する従来の問題を分解する。 マルチモーダルデータを扱う際のフレームワークの汎用性を高めるため,複数の画像チャネルでモデルを拡張した。
  論文  参考訳（メタデータ） (2023-12-13T18:22:38Z)
• Multi-View Vertebra Localization and Identification from CT Images [57.56509107412658]
  我々は,CT画像からの多視点椎体局在と同定を提案する。 本研究では,3次元問題を異なる視点における2次元局所化および識別タスクに変換する。 本手法は,多視点グローバル情報を自然に学習することができる。
  論文  参考訳（メタデータ） (2023-07-24T14:43:07Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• Self-supervised 3D anatomy segmentation using self-distilled masked image transformer (SMIT) [2.7298989068857487]
  自己教師型学習は、畳み込みネットワークを用いた医用画像のセグメンテーションに成功している。 我々は、我々のアプローチがより正確で、他のプリテキストタスクよりも微調整データセットを少なくする必要があることを示した。
  論文  参考訳（メタデータ） (2022-05-20T17:55:14Z)
• Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
  本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。 提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
  論文  参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。