論文の概要: Self adaptive global-local feature enhancement for radiology report
generation
- arxiv url: http://arxiv.org/abs/2211.11380v1
- Date: Mon, 21 Nov 2022 11:50:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 18:02:41.691338
- Title: Self adaptive global-local feature enhancement for radiology report
generation
- Title(参考訳): 放射線レポート生成のための自己適応型グローバルローカル機能強化
- Authors: Yuhao Wang, Kai Wang, Xiaohong Liu, Tianrun Gao, Jingyue Zhang,
Guangyu Wang
- Abstract要約: グローバル・解剖学的領域の特徴を動的に融合して多粒性放射線学レポートを生成する新しいフレームワーク AGFNet を提案する。
まず,入力胸部X線(CXR)の解剖学的特徴と大域的特徴を抽出する。
そして,領域の特徴とグローバルな特徴を入力として,提案した自己適応型核融合ゲートモジュールは動的に多粒性情報を融合することができる。
最後に、キャプション生成装置は、多粒性特徴により放射線学レポートを生成する。
- 参考スコア(独自算出の注目度): 10.958641951927817
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated radiology report generation aims at automatically generating a
detailed description of medical images, which can greatly alleviate the
workload of radiologists and provide better medical services to remote areas.
Most existing works pay attention to the holistic impression of medical images,
failing to utilize important anatomy information. However, in actual clinical
practice, radiologists usually locate important anatomical structures, and then
look for signs of abnormalities in certain structures and reason the underlying
disease. In this paper, we propose a novel framework AGFNet to dynamically fuse
the global and anatomy region feature to generate multi-grained radiology
report. Firstly, we extract important anatomy region features and global
features of input Chest X-ray (CXR). Then, with the region features and the
global features as input, our proposed self-adaptive fusion gate module could
dynamically fuse multi-granularity information. Finally, the captioning
generator generates the radiology reports through multi-granularity features.
Experiment results illustrate that our model achieved the state-of-the-art
performance on two benchmark datasets including the IU X-Ray and MIMIC-CXR.
Further analyses also prove that our model is able to leverage the
multi-grained information from radiology images and texts so as to help
generate more accurate reports.
- Abstract(参考訳): 自動放射線学レポート生成は, 医療画像の詳細な記述を自動的に生成することを目的としており, 放射線技師の作業負荷を大幅に軽減し, 遠隔地への医療サービスの改善を図っている。
既存の作品の多くは医学的イメージの全体的印象に注意を払っており、重要な解剖学的情報を活用できていない。
しかし、実際の臨床実践では、放射線科医は通常重要な解剖学的構造を見つけ、特定の構造に異常の兆候を見出し、根本疾患の原因となる。
本稿では,グローバルおよび解剖学的領域の特徴を動的に融合させ,多粒性放射線学レポートを生成する新しいフレームワーク AGFNet を提案する。
まず,入力胸部X線(CXR)の解剖学的特徴と大域的特徴を抽出する。
そして, 地域特徴とグローバル特徴を入力として, 提案する自己適応型フュージョンゲートモジュールは, マルチグラニュラ情報を動的に融合することができる。
最後に、キャプション生成装置は、マルチグラニュラリティ特徴により、放射線レポートを生成する。
実験結果から,IU X線とMIMIC-CXRを含む2つのベンチマークデータセットの最先端性能が得られた。
また,さらなる分析により,放射線画像やテキストから得られる複数の粒度情報を活用することで,より正確な報告を作成できることが証明された。
関連論文リスト
- Large Model driven Radiology Report Generation with Clinical Quality
Reinforcement Learning [16.849933628738277]
放射線学報告生成 (RRG) は, 放射線技師の作業量削減の可能性から注目されている。
本稿では,新しいRRG法である textbfLM-RRG について紹介する。
MIMIC-CXRおよびIU-Xrayデータセットを用いた実験により,本手法が技術状況よりも優れていることを示す。
論文 参考訳(メタデータ) (2024-03-11T13:47:11Z) - Complex Organ Mask Guided Radiology Report Generation [13.96983438709763]
我々は,複合臓器マスクガイド(COMG)レポート生成モデルを提案する。
融合過程において各臓器に対応する疾患の事前知識を活用し,疾患の同定フェーズを増強する。
2つの公開データセットの結果、COMGはSOTAモデルKiUTよりもBLEU@4スコアで11.4%と9.7%改善している。
論文 参考訳(メタデータ) (2023-11-04T05:34:24Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳(メタデータ) (2023-10-08T17:23:17Z) - Dynamic Multi-Domain Knowledge Networks for Chest X-ray Report
Generation [0.5939858158928474]
放射線診断レポート生成のための動的マルチドメイン知識(DMDK)ネットワークを提案する。
DMDKネットワークは、Chest Feature Extractor(CFE), Dynamic Knowledge Extractor(DKE), Specific Knowledge Extractor(SKE), Multi-knowledge Integrator(MKI)モジュールの4つのモジュールで構成されている。
IU X-RayとMIMIC-CXRの2つの広く使われているデータセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2023-10-08T11:20:02Z) - Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。
MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2023-08-29T17:44:28Z) - XrayGPT: Chest Radiographs Summarization using Medical Vision-Language
Models [60.437091462613544]
我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。
胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。
自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
論文 参考訳(メタデータ) (2023-06-13T17:59:59Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳(メタデータ) (2022-09-28T10:27:10Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。