論文の概要: Unlocking the Potential of Weakly Labeled Data: A Co-Evolutionary Learning Framework for Abnormality Detection and Report Generation
- arxiv url: http://arxiv.org/abs/2412.13599v1
- Date: Wed, 18 Dec 2024 08:31:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 16:49:15.898982
- Title: Unlocking the Potential of Weakly Labeled Data: A Co-Evolutionary Learning Framework for Abnormality Detection and Report Generation
- Title（参考訳）: 弱ラベル付きデータの可能性を解き放つ:異常検出とレポート生成のための共進化学習フレームワーク
- Authors: Jinghan Sun, Dong Wei, Zhe Xu, Donghuan Lu, Hong Liu, Hong Wang, Sotirios A. Tsaftaris, Steven McDonagh, Yefeng Zheng, Liansheng Wang,
- Abstract要約: 臨床における胸部X線(CXR)の解剖学的異常検出と報告生成は2つの重要な課題である。
既存の手法は、それぞれのタスクを別々に焦点を合わせ、相関を無視することが多い。
本研究は,共進化異常検出および報告生成フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 44.41011570487469
- License:
- Abstract: Anatomical abnormality detection and report generation of chest X-ray (CXR) are two essential tasks in clinical practice. The former aims at localizing and characterizing cardiopulmonary radiological findings in CXRs, while the latter summarizes the findings in a detailed report for further diagnosis and treatment. Existing methods often focused on either task separately, ignoring their correlation. This work proposes a co-evolutionary abnormality detection and report generation (CoE-DG) framework. The framework utilizes both fully labeled (with bounding box annotations and clinical reports) and weakly labeled (with reports only) data to achieve mutual promotion between the abnormality detection and report generation tasks. Specifically, we introduce a bi-directional information interaction strategy with generator-guided information propagation (GIP) and detector-guided information propagation (DIP). For semi-supervised abnormality detection, GIP takes the informative feature extracted by the generator as an auxiliary input to the detector and uses the generator's prediction to refine the detector's pseudo labels. We further propose an intra-image-modal self-adaptive non-maximum suppression module (SA-NMS). This module dynamically rectifies pseudo detection labels generated by the teacher detection model with high-confidence predictions by the student.Inversely, for report generation, DIP takes the abnormalities' categories and locations predicted by the detector as input and guidance for the generator to improve the generated reports.
- Abstract（参考訳）: 臨床における胸部X線(CXR)の解剖学的異常検出と報告生成は2つの重要な課題である。
前者はCXRsにおける心肺の放射線学的所見の局在化と特徴化を目標とし,後者はさらなる診断と治療のための詳細な報告でその知見を要約する。
既存の手法は、それぞれのタスクを別々に焦点を合わせ、相関を無視することが多い。
本研究では,共進化異常検出・報告生成(CoE-DG)フレームワークを提案する。
このフレームワークは、完全なラベル付き(バウンディングボックスアノテーションと臨床報告を含む)と弱いラベル付き(レポートのみを含む)のデータの両方を利用して、異常検出とレポート生成タスクの相互促進を実現する。
具体的には、ジェネレータ誘導情報伝搬(GIP)と検出器誘導情報伝搬(DIP)との双方向情報相互作用戦略を導入する。
半教師付き異常検出のために、GIPは、ジェネレータによって抽出された情報的特徴を検出器への補助的な入力として取り、ジェネレータの予測を使用して検出器の擬似ラベルを洗練させる。
さらに,画像内適応型自己適応型非最大抑制モジュール (SA-NMS) を提案する。
本モジュールは,教師検出モデルにより生成された疑似検出ラベルを,高信頼度予測で動的に修正する。また,レポート生成において,DIPは,検出者によって予測される異常のカテゴリや位置を入力として取り出して,生成したレポートを改善する。
関連論文リスト
- Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。
我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。
我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
論文 参考訳（メタデータ） (2024-05-23T01:29:47Z) - You've Got Two Teachers: Co-evolutionary Image and Report Distillation
for Semi-supervised Anatomical Abnormality Detection in Chest X-ray [33.272751884183556]
公的なMIMIC-CXRベンチマークの実験結果は、CEIRDがいくつかの最新の弱い半教師付き手法に優れていることを示す。
論文 参考訳（メタデータ） (2023-07-18T12:18:21Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳（メタデータ） (2023-03-18T03:53:43Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-16T07:23:55Z) - Attributed Abnormality Graph Embedding for Clinically Accurate X-Ray
Report Generation [7.118069629513661]
我々は、属性異常グラフ(ATAG)と呼ばれる、新しい微粒化知識グラフ構造を導入する。
ATAGは相互接続された異常ノードと属性ノードで構成されており、異常の詳細をより正確に把握することができる。
提案したATAG-based Deep ModelはSOTA法よりも大きなマージンで優れており, 得られた報告の臨床的精度を向上させることができる。
論文 参考訳（メタデータ） (2022-07-04T05:32:00Z) - Breaking with Fixed Set Pathology Recognition through Report-Guided
Contrastive Training [23.506879497561712]
我々は、非構造化医療報告から直接概念を学ぶために、対照的なグローバルローカルなデュアルエンコーダアーキテクチャを採用している。
疾患分類のための大規模胸部X線データセットMIMIC-CXR,CheXpert,ChestX-Ray14について検討した。
論文 参考訳（メタデータ） (2022-05-14T21:44:05Z) - Exploring and Distilling Posterior and Prior Knowledge for Radiology
Report Generation [55.00308939833555]
PPKEDには、Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE), Multi-domain Knowledge Distiller (MKD)の3つのモジュールが含まれている。
PoKEは後部知識を探求し、視覚データのバイアスを軽減するために明確な異常な視覚領域を提供する。
PrKEは、以前の医学知識グラフ(医学知識)と以前の放射線学レポート(作業経験)から以前の知識を探り、テキストデータのバイアスを軽減する。
論文 参考訳（メタデータ） (2021-06-13T11:10:02Z) - Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on
Chest X-rays [6.686095511538683]
本研究は放射線画像の異常所見の報告に焦点を当てる。
本稿では, レポートから異常な発見を識別し, 教師なしクラスタリングと最小限のルールで分類する手法を提案する。
本手法は, 異常所見を回収し, 臨床正当性およびテキスト生成量の両方で既存の世代モデルより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-06T04:18:18Z) - Chest X-ray Report Generation through Fine-Grained Label Learning [46.352966049776875]
画像から詳細な所見を学習する領域認識自動胸部X線診断レポート生成アルゴリズムを提案する。
また、画像にそのような記述子を割り当てる自動ラベリングアルゴリズムを開発し、発見の粗い記述ときめ細かい記述の両方を認識する新しいディープラーニングネットワークを構築した。
論文 参考訳（メタデータ） (2020-07-27T19:50:56Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳（メタデータ） (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。