論文の概要: Large Model driven Radiology Report Generation with Clinical Quality
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2403.06728v1
- Date: Mon, 11 Mar 2024 13:47:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:52:45.086227
- Title: Large Model driven Radiology Report Generation with Clinical Quality
Reinforcement Learning
- Title(参考訳): 臨床品質強化学習による大規模X線診断レポートの作成
- Authors: Zijian Zhou, Miaojing Shi, Meng Wei, Oluwatosin Alabi, Zijie Yue, Tom
Vercauteren
- Abstract要約: 放射線学報告生成 (RRG) は, 放射線技師の作業量削減の可能性から注目されている。
本稿では,新しいRRG法である textbfLM-RRG について紹介する。
MIMIC-CXRおよびIU-Xrayデータセットを用いた実験により,本手法が技術状況よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 16.849933628738277
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Radiology report generation (RRG) has attracted significant attention due to
its potential to reduce the workload of radiologists. Current RRG approaches
are still unsatisfactory against clinical standards. This paper introduces a
novel RRG method, \textbf{LM-RRG}, that integrates large models (LMs) with
clinical quality reinforcement learning to generate accurate and comprehensive
chest X-ray radiology reports. Our method first designs a large language model
driven feature extractor to analyze and interpret different regions of the
chest X-ray image, emphasizing specific regions with medical significance.
Next, based on the large model's decoder, we develop a multimodal report
generator that leverages multimodal prompts from visual features and textual
instruction to produce the radiology report in an auto-regressive way. Finally,
to better reflect the clinical significant and insignificant errors that
radiologists would normally assign in the report, we introduce a novel clinical
quality reinforcement learning strategy. It utilizes the radiology report
clinical quality (RadCliQ) metric as a reward function in the learning process.
Extensive experiments on the MIMIC-CXR and IU-Xray datasets demonstrate the
superiority of our method over the state of the art.
- Abstract(参考訳): 放射線学報告生成(RRG)は,放射線科医の作業量削減の可能性から注目されている。
現在のRRGアプローチは、まだ臨床標準に満足できない。
本稿では, 臨床品質向上学習と大規模モデル(LM)を統合し, 胸部X線診断を高精度かつ包括的に行う新しいRRG法である「textbf{LM-RRG}」を提案する。
まず,胸部x線画像の異なる領域を解析・解釈するための大規模言語モデル駆動特徴抽出器の設計を行い,医学的意義を強調する。
次に,大規模モデルのデコーダに基づいて,視覚特徴からのマルチモーダルプロンプトとテキストインストラクションを活用したマルチモーダルレポート生成装置を開発し,自己回帰的なラジオロジーレポートを作成する。
最後に, 放射線科医が通常報告する臨床的に有意かつ重要でない誤りを反映するために, 新たな臨床品質強化学習戦略を導入する。
学習過程における報酬関数として,放射線診断報告臨床品質指標(RadCliQ)を用いる。
mimic-cxr と iu-xray データセットに関する広範囲な実験により,本手法の最先端性が示された。
関連論文リスト
- Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report
Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。
既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。
胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文 参考訳(メタデータ) (2023-11-18T14:37:53Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳(メタデータ) (2023-10-08T17:23:17Z) - Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。
MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2023-08-29T17:44:28Z) - Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray
Report Generation [7.586632627817609]
放射線学ワークフローの側面を統合したCXRレポートジェネレータを提案する。
これは、患者の以前のCXR研究から得られる縦断的履歴を条件付けることで、放射線科医のワークフローを模倣する。
提案した強化学習の報奨を生かした。
論文 参考訳(メタデータ) (2023-07-19T05:41:14Z) - Self adaptive global-local feature enhancement for radiology report
generation [10.958641951927817]
グローバル・解剖学的領域の特徴を動的に融合して多粒性放射線学レポートを生成する新しいフレームワーク AGFNet を提案する。
まず,入力胸部X線(CXR)の解剖学的特徴と大域的特徴を抽出する。
そして,領域の特徴とグローバルな特徴を入力として,提案した自己適応型核融合ゲートモジュールは動的に多粒性情報を融合することができる。
最後に、キャプション生成装置は、多粒性特徴により放射線学レポートを生成する。
論文 参考訳(メタデータ) (2022-11-21T11:50:42Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳(メタデータ) (2022-09-28T10:27:10Z) - Radiology Report Generation with a Learned Knowledge Base and
Multi-modal Alignment [27.111857943935725]
胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。
本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。
両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2021-12-30T10:43:56Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - Generating Radiology Reports via Memory-driven Transformer [38.30011851429407]
本稿では,メモリ駆動型トランスフォーマを用いた放射線学レポートの作成を提案する。
IU X線とMIMIC-CXRの2つの代表的な放射線学報告データセットの実験結果
論文 参考訳(メタデータ) (2020-10-30T04:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。