論文の概要: Structure Observation Driven Image-Text Contrastive Learning for Computed Tomography Report Generation
- arxiv url: http://arxiv.org/abs/2603.04878v1
- Date: Thu, 05 Mar 2026 07:07:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:11.109373
- Title: Structure Observation Driven Image-Text Contrastive Learning for Computed Tomography Report Generation
- Title（参考訳）: 構造観察駆動型画像テキストコントラスト学習によるCTレポート生成
- Authors: Hong Liu, Dong Wei, Qiong Peng, Yawen Huang, Xian Wu, Yefeng Zheng, Liansheng Wang,
- Abstract要約: 本稿では,CTRG(Computed Tomography Report Generation)に適した新しい2段階(構造とレポートの学習)フレームワークを提案する。
第1段階では、CT画像中の対応する構造を学習可能な構造特異的な視覚的クエリーの集合を観察し、その結果として得られる観察トークンと、それに伴う放射線学レポートから抽出された構造特異的なテキスト特徴とを、構造的に画像テキストのコントラストロスとで対比する。
第2段階では、視覚構造クエリを凍結し、各解剖学的構造を描写したクリティカルイメージパッチ埋め込みを選択するために使用し、メモリ消費を低減しつつ、無関係領域からの注意を最小化する。
- 参考スコア（独自算出の注目度）: 51.509572354327986
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Computed Tomography Report Generation (CTRG) aims to automate the clinical radiology reporting process, thereby reducing the workload of report writing and facilitating patient care. While deep learning approaches have achieved remarkable advances in X-ray report generation, their effectiveness may be limited in CTRG due to larger data volumes of CT images and more intricate details required to describe them. This work introduces a novel two-stage (structure- and report-learning) framework tailored for CTRG featuring effective structure-wise image-text contrasting. In the first stage, a set of learnable structure-specific visual queries observe corresponding structures in a CT image. The resulting observation tokens are contrasted with structure-specific textual features extracted from the accompanying radiology report with a structure-wise image-text contrastive loss. In addition, text-text similarity-based soft pseudo targets are proposed to mitigate the impact of false negatives, i.e., semantically identical image structures and texts from non-paired images and reports. Thus, the model learns structure-level semantic correspondences between CT images and reports. Further, a dynamic, diversity-enhanced negative queue is proposed to guide the network in learning to discriminate various abnormalities. In the second stage, the visual structure queries are frozen and used to select the critical image patch embeddings depicting each anatomical structure, minimizing distractions from irrelevant areas while reducing memory consumption. Also, a text decoder is added and trained for report generation.Our extensive experiments on two public datasets demonstrate that our framework establishes new state-of-the-art performance for CTRG in clinical efficiency, and its components are effective.
- Abstract（参考訳）: Computed Tomography Report Generation (CTRG)は、臨床放射線学報告プロセスの自動化を目的としており、レポート作成の負荷を低減し、患者のケアを促進することを目的としている。
深層学習のアプローチはX線レポート生成において顕著な進歩を遂げてきたが、CT画像の量の増大と、それらを記述するために必要なより複雑な詳細のため、CTRGでは有効性が制限される可能性がある。
本稿では,CTRGに適した2段階(構造とレポートの学習)フレームワークを提案する。
第1段階では、学習可能な構造固有の視覚的クエリのセットが、CT画像内の対応する構造を観察する。
得られた観察トークンは、付随する放射線学レポートから抽出された構造特異的なテキスト特徴と、構造的画像テキストコントラスト損失とを対比する。
さらに、テキスト類似性に基づくソフト擬似ターゲットを提案し、偽陰性、すなわち意味論的に同一な画像構造や非ペア画像やレポートからのテキストの影響を軽減する。
そこで,本モデルはCT画像とレポート間の構造レベルの意味対応を学習する。
さらに,様々な異常を識別するためにネットワークを誘導するために,動的で多様性に富む負のキューを提案する。
第2段階では、視覚構造クエリを凍結し、各解剖学的構造を描写したクリティカルイメージパッチ埋め込みを選択するために使用し、メモリ消費を低減しつつ、無関係領域からの注意を最小化する。
また, テキストデコーダを付加し, レポート生成のための訓練を行った。我々の2つの公開データセットに対する広範な実験により, 臨床効率においてCTRGの新たな最先端性能を確立し, その構成要素が有効であることを実証した。
関連論文リスト
- A Semantically Enhanced Generative Foundation Model Improves Pathological Image Synthesis [82.01597026329158]
本稿では,組織合成のための相関調整フレームワーク(CRAFTS)について紹介する。
CRAFTSは、生物学的精度を確保するためにセマンティックドリフトを抑制する新しいアライメント機構を組み込んでいる。
本モデルは,30種類の癌にまたがる多彩な病理像を生成する。
論文 参考訳（メタデータ） (2025-12-15T10:22:43Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳（メタデータ） (2025-09-30T08:59:06Z) - Anatomical Attention Alignment representation for Radiology Report Generation [10.887845017050477]
Anatomical Attention Alignment Network (A3Net)は、超視覚的表現を構築することで視覚的テキスト理解を強化するフレームワークである。
本手法では,解剖学的構造とパッチレベルの視覚的特徴の知識辞書を統合し,画像領域を対応する解剖学的実体と効果的に関連付けることができる。
IU X-RayとMIMIC-CXRデータセットの実験結果から、A3Netは視覚知覚とテキスト生成品質の両方を著しく改善することが示された。
論文 参考訳（メタデータ） (2025-05-12T15:54:50Z) - RadIR: A Scalable Framework for Multi-Grained Medical Image Retrieval via Radiology Report Mining [64.66825253356869]
本稿では,複数の粒度で画像の類似度を決定するために,高密度ラジオロジーレポートを利用した新しい手法を提案する。
我々は、胸部X線用MIMIC-IRとCTスキャン用CTRATE-IRの2つの総合的な医用画像検索データセットを構築した。
RadIR-CXR と Model-ChestCT という2つの検索システムを開発し,従来の画像画像検索と画像レポート検索に優れた性能を示す。
論文 参考訳（メタデータ） (2025-03-06T17:43:03Z) - Fake It Till You Make It: Using Synthetic Data and Domain Knowledge for Improved Text-Based Learning for LGE Detection [11.532639713283226]
臨床報告からテキストを用いてLGE検出のモデルを訓練するために,ドメイン知識に根ざした戦略を用いる。
我々は、画像の向きを解剖学的に表現した方法で標準化し、空間的特徴とテキスト的特徴のより優れたアライメントを可能にする。
モデル全体の性能に対する各デザインコンポーネントの貢献を明らかにするためのアブレーション研究が実施されている。
論文 参考訳（メタデータ） (2025-02-18T15:30:48Z) - A Multimodal Approach Combining Structural and Cross-domain Textual Guidance for Weakly Supervised OCT Segmentation [12.948027961485536]
Weakly Supervised Semantic (WSSS) アプローチを提案する。
本手法は診断精度の向上と医用画像の効率向上に資する技術である。
論文 参考訳（メタデータ） (2024-11-19T16:20:27Z) - A Novel Corpus of Annotated Medical Imaging Reports and Information Extraction Results Using BERT-based Language Models [4.023338734079828]
医療画像は多くの健康状態の診断、監視、治療に重要である。
放射線学者は、これらの複雑で非構造的なイメージを解釈し、ほとんど非構造的のままの物語報告を通じてその評価を明確にする。
この非構造化の物語は、振り返り分析や臨床決定支援のような二次的な応用を促進するために、構造化された意味表現に変換されなければならない。
論文 参考訳（メタデータ） (2024-03-27T19:43:45Z) - Anatomical Structure-Guided Medical Vision-Language Pre-training [21.68719061251635]
医用視覚表現を学習するための解剖学的構造ガイド(ASG)フレームワークを提案する。
解剖学的領域に対しては,放射線技師と協調して自動解剖学的領域文アライメントパラダイムを設計する。
画像の特徴を各サンプル内の各タグに関連付けるために,画像タグ認識デコーダを適用して画像タグとみなす。
論文 参考訳（メタデータ） (2024-03-14T11:29:47Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳（メタデータ） (2023-03-18T03:53:43Z) - FlexR: Few-shot Classification with Language Embeddings for Structured
Reporting of Chest X-rays [37.15474283789249]
構造化された報告テンプレートにおける文によって定義される臨床所見を予測する手法を提案する。
この手法は、胸部X線と関連する自由テキストラジオグラフィーレポートを用いて、対照的な言語画像モデルを訓練することを含む。
その結果, 訓練用画像レベルのアノテーションが限られている場合でも, 胸部X線における重症度評価の構造化された報告タスクを達成できることが示唆された。
論文 参考訳（メタデータ） (2022-03-29T16:31:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。