論文の概要: Enhanced Contrastive Learning with Multi-view Longitudinal Data for Chest X-ray Report Generation
- arxiv url: http://arxiv.org/abs/2502.20056v1
- Date: Thu, 27 Feb 2025 12:59:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-28 14:58:50.324025
- Title: Enhanced Contrastive Learning with Multi-view Longitudinal Data for Chest X-ray Report Generation
- Title(参考訳): 胸部X線レポート生成のための多視点縦データを用いたコントラスト学習の強化
- Authors: Kang Liu, Zhuoqi Ma, Xiaolu Kang, Yunan Li, Kun Xie, Zhicheng Jiao, Qiguang Miao,
- Abstract要約: 胸部X線レポート生成を容易にするために,MLRGと呼ばれるマルチビュー縦断データを用いたコントラスト学習を提案する。
具体的には、現在の多視点画像からの空間情報と、長手データからの時間情報を統合する多視点縦コントラスト学習手法を提案する。
本稿では,患者固有の事前知識の欠如に対処するトークン化不在符号化手法を提案する。
- 参考スコア(独自算出の注目度): 15.257119888131609
- License:
- Abstract: Automated radiology report generation offers an effective solution to alleviate radiologists' workload. However, most existing methods focus primarily on single or fixed-view images to model current disease conditions, which limits diagnostic accuracy and overlooks disease progression. Although some approaches utilize longitudinal data to track disease progression, they still rely on single images to analyze current visits. To address these issues, we propose enhanced contrastive learning with Multi-view Longitudinal data to facilitate chest X-ray Report Generation, named MLRG. Specifically, we introduce a multi-view longitudinal contrastive learning method that integrates spatial information from current multi-view images and temporal information from longitudinal data. This method also utilizes the inherent spatiotemporal information of radiology reports to supervise the pre-training of visual and textual representations. Subsequently, we present a tokenized absence encoding technique to flexibly handle missing patient-specific prior knowledge, allowing the model to produce more accurate radiology reports based on available prior knowledge. Extensive experiments on MIMIC-CXR, MIMIC-ABN, and Two-view CXR datasets demonstrate that our MLRG outperforms recent state-of-the-art methods, achieving a 2.3% BLEU-4 improvement on MIMIC-CXR, a 5.5% F1 score improvement on MIMIC-ABN, and a 2.7% F1 RadGraph improvement on Two-view CXR.
- Abstract(参考訳): 自動放射線学レポート生成は、放射線学者の作業負荷を軽減する効果的な解決策を提供する。
しかし、既存のほとんどの手法は、診断精度を制限し、疾患の進行を見落としている現在の疾患状態をモデル化するために、主に単眼または固定視画像に焦点を当てている。
病状進行の追跡には経時的データを用いるアプローチもあるが、現在の来訪状況を分析するには単一の画像に頼っている。
これらの課題に対処するため,MLRG という胸部X線レポート生成を容易にするために,Multi-view Longitudinal データを用いたコントラスト学習の強化を提案する。
具体的には、現在の多視点画像からの空間情報と、長手データからの時間情報を統合する多視点縦コントラスト学習手法を提案する。
この方法はまた、放射線学レポートの時空間情報を利用して、視覚的およびテキスト的表現の事前学習を監督する。
その後,患者固有の事前知識の欠如を柔軟に扱えるトークン化不在符号化手法を提案し,得られた事前知識に基づいて,より正確な放射線診断レポートを作成できることを示した。
MIMIC-CXR、MIMIC-ABN、Two-view CXRデータセットの大規模な実験により、MLRGは最近の最先端の手法よりも優れており、MIMIC-CXRでは2.3%BLEU-4の改善、MIMIC-ABNでは5.5%F1スコアの改善、Two-view CXRでは2.7%F1 RadGraphの改善が達成されている。
関連論文リスト
- ContextMRI: Enhancing Compressed Sensing MRI through Metadata Conditioning [51.26601171361753]
本稿では, 微細なメタデータを再構成プロセスに統合したMRI用テキスト条件拡散モデルであるContextMRIを提案する。
メタデータの忠実度はスライス位置やコントラストから患者年齢、性別、病理まで増加し、体系的に再構築性能が向上することを示す。
論文 参考訳(メタデータ) (2025-01-08T05:15:43Z) - MCL: Multi-view Enhanced Contrastive Learning for Chest X-ray Report Generation [15.615477864185522]
胸部X線レポート生成のためのマルチビュー強化コントラスト学習法を提案する。
具体的には、まず、マルチビューラジオグラフィと対応するレポートの一致を最大化することにより、視覚表現のためのマルチビュー強化コントラスト学習を導入する。
我々は、多視点レポート生成研究を支援するために、公開情報源から多視点CXRと2視点CXRデータセットを構築した。
論文 参考訳(メタデータ) (2024-11-15T14:38:13Z) - MedPromptX: Grounded Multimodal Prompting for Chest X-ray Diagnosis [1.2903829793534272]
胸部X線像は急性および慢性の心肺疾患の予測に一般的に用いられている。
構造化された臨床データと統合する努力は、不完全な電子健康記録による課題に直面している。
MedPromptXはマルチモーダル大言語モデル(MLLM)、少数ショットプロンプト(FP)、ビジュアルグラウンド(VG)を統合した最初の臨床診断支援システムである。
その結果、MedPromptXのSOTA性能を示し、ベースラインに比べてF1スコアが11%向上した。
論文 参考訳(メタデータ) (2024-03-22T19:19:51Z) - TiBiX: Leveraging Temporal Information for Bidirectional X-ray and Report Generation [0.7381551917607596]
TiBiX:双方向X線とレポート生成のための時間情報を活用する。
双方向X線とレポート生成のための時間情報を活用するTiBiXを提案する。
論文 参考訳(メタデータ) (2024-03-20T07:00:03Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - High-Fidelity Image Synthesis from Pulmonary Nodule Lesion Maps using
Semantic Diffusion Model [10.412300404240751]
肺がんは、長年にわたり、世界中でがん関連の死因の1つとなっている。
ディープラーニング、学習アルゴリズムに基づくコンピュータ支援診断(CAD)モデルは、スクリーニングプロセスを加速することができる。
しかし、堅牢で正確なモデルを開発するには、しばしば高品質なアノテーションを備えた大規模で多様な医療データセットが必要である。
論文 参考訳(メタデータ) (2023-05-02T01:04:22Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳(メタデータ) (2023-03-18T03:53:43Z) - Variational Knowledge Distillation for Disease Classification in Chest
X-Rays [102.04931207504173]
我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。
提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
論文 参考訳(メタデータ) (2021-03-19T14:13:56Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。