論文の概要: EVOKE: Elevating Chest X-ray Report Generation via Multi-View Contrastive Learning and Patient-Specific Knowledge
- arxiv url: http://arxiv.org/abs/2411.10224v2
- Date: Wed, 12 Mar 2025 09:38:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-13 15:37:25.119036
- Title: EVOKE: Elevating Chest X-ray Report Generation via Multi-View Contrastive Learning and Patient-Specific Knowledge
- Title(参考訳): EVOKE:マルチビューコントラスト学習と患者特有の知識による胸部X線レポート生成
- Authors: Qiguang Miao, Kang Liu, Zhuoqi Ma, Yunan Li, Xiaolu Kang, Ruixuan Liu, Tianyi Liu, Kun Xie, Zhicheng Jiao,
- Abstract要約: textbfEVOKEは、マルチビューコントラスト学習と患者固有の知識を取り入れた、新しい胸部X線レポート生成フレームワークである。
本稿では,患者固有の指標を統合した知識誘導レポート生成モジュールを提案する。
提案するEVOKEは,複数のデータセットにまたがる最新の最先端手法を超越している。
- 参考スコア(独自算出の注目度): 21.596462896333733
- License:
- Abstract: Radiology reports are crucial for planning treatment strategies and facilitating effective doctor-patient communication. However, the manual creation of these reports places a significant burden on radiologists. While automatic radiology report generation presents a promising solution, existing methods often rely on single-view radiographs, which constrain diagnostic accuracy. To address this challenge, we propose \textbf{EVOKE}, a novel chest X-ray report generation framework that incorporates multi-view contrastive learning and patient-specific knowledge. Specifically, we introduce a multi-view contrastive learning method that enhances visual representation by aligning multi-view radiographs with their corresponding report. After that, we present a knowledge-guided report generation module that integrates available patient-specific indications (e.g., symptom descriptions) to trigger the production of accurate and coherent radiology reports. To support research in multi-view report generation, we construct Multi-view CXR and Two-view CXR datasets using publicly available sources. Our proposed EVOKE surpasses recent state-of-the-art methods across multiple datasets, achieving a 2.9\% F\textsubscript{1} RadGraph improvement on MIMIC-CXR, a 7.3\% BLEU-1 improvement on MIMIC-ABN, a 3.1\% BLEU-4 improvement on Multi-view CXR, and an 8.2\% F\textsubscript{1,mic-14} CheXbert improvement on Two-view CXR.
- Abstract(参考訳): 放射線学報告は、治療戦略の立案と効果的な医師と患者とのコミュニケーションの促進に不可欠である。
しかし、これらの報告を手作業で作成することは、放射線学者にとって重大な負担となる。
自動ラジオグラフィーレポート生成は有望な解決法であるが、既存の手法は診断精度を制約するシングルビューラジオグラフに頼っていることが多い。
この課題に対処するために,マルチビューコントラスト学習と患者固有の知識を取り入れた新しい胸部X線レポート生成フレームワークである「textbf{EVOKE}」を提案する。
具体的には、マルチビュー・ラジオグラフィーと対応するレポートを整列させて視覚表現を高めるマルチビューコントラスト学習手法を提案する。
その後、患者固有の症状(例えば、症状記述)を統合した知識誘導レポート生成モジュールを提示し、正確で一貫性のある放射線診断レポートの作成を誘導する。
マルチビューレポート生成の研究を支援するため,公開ソースを用いたマルチビューCXRと2ビューCXRデータセットを構築した。
提案手法は,MIMIC-CXRのF\textsubscript{1} RadGraph改善,MIMIC-ABNのBLEU-1改善,Multi-view CXRのBLEU-4改善,Two-view CXRのF\textsubscript{1,mic-14} CheXbert改善の8.2\%である。
関連論文リスト
- LTCXNet: Advancing Chest X-Ray Analysis with Solutions for Long-Tailed Multi-Label Classification and Fairness Challenges [4.351007758390175]
Pruned MIMIC-CXR-LTデータセットは、長い尾と多ラベルのデータシナリオを表現するように設計されている。
本稿では,ConvNeXtモデル,ML-Decoder,戦略的データ拡張を統合した新しいフレームワークであるLCCXNetを紹介する。
論文 参考訳(メタデータ) (2024-11-16T08:59:20Z) - MoRE: Multi-Modal Contrastive Pre-training with Transformers on X-Rays, ECGs, and Diagnostic Report [4.340464264725625]
我々は,X線,心電図(ECG),放射線学・心臓医学報告を相乗的に組み合わせた,新しいマルチモーダルコントラスト事前学習フレームワークを提案する。
我々はLoRA-Peftを用いて、LLMにおけるトレーニング可能なパラメータを著しく削減し、視覚変換器(ViT)に最近の線形アテンション降下戦略を取り入れ、よりスムーズなアテンションを実現する。
我々の知る限り、我々はX線、心電図、放射線学・医学レポートをこの手法と組み合わせた統合モデルを提案している。
論文 参考訳(メタデータ) (2024-10-21T17:42:41Z) - The Impact of Auxiliary Patient Data on Automated Chest X-Ray Report Generation and How to Incorporate It [12.61239008314719]
本研究は,胸部X線自動レポート生成のための多モーダル言語モデルへの多様な患者データソースの統合について検討する。
MIMIC-CXRおよびMIMIC-IV-EDデータセットを用いて, 診断精度を高めるために, バイタルサイン, 医薬, 臨床歴などの詳細な患者情報を組み込んだ。
論文 参考訳(メタデータ) (2024-06-19T03:25:31Z) - WoLF: Wide-scope Large Language Model Framework for CXR Understanding [8.265578494822087]
胸部X線理解のための広スコープ大言語モデルフレームワークを提案する。
実際の臨床シナリオにおける正確な診断に利用される多面的患者の記録を収集する。
論文 参考訳(メタデータ) (2024-03-19T06:39:23Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2023-10-09T02:31:36Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳(メタデータ) (2023-10-08T17:23:17Z) - Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites:
A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。
我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。
また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文 参考訳(メタデータ) (2023-08-31T00:36:10Z) - Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation [7.586632627817609]
放射線学者は、解釈と報告を必要とする胸部X線(CXR)の量の増加のために、高いバーンアウト率に直面している。
提案するCXRレポートジェネレータは,ワークフローの要素を統合し,強化学習のための新たな報酬を導入する。
本研究の結果から, 提案モデルでは, 最新技術モデルよりも, 放射線学者の報告に適合した報告が生成されることがわかった。
論文 参考訳(メタデータ) (2023-07-19T05:41:14Z) - Advancing Radiograph Representation Learning with Masked Record Modeling [52.04899592688968]
我々は2つの相補的な目的として自己と報告の補完を定式化し、マスク付きレコードモデリング(MRM)に基づく統一的な枠組みを提案する。
MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。
具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。
論文 参考訳(メタデータ) (2023-01-30T18:33:32Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。