論文の概要: Improving Factual Completeness and Consistency of Image-to-Text
Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2010.10042v2
- Date: Mon, 12 Apr 2021 20:41:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-05 06:56:12.010221
- Title: Improving Factual Completeness and Consistency of Image-to-Text
Radiology Report Generation
- Title(参考訳): 画像・テキスト・ラジオロジーレポート生成の完全性と一貫性の改善
- Authors: Yasuhide Miura, Yuhao Zhang, Emily Bao Tsai, Curtis P. Langlotz, Dan
Jurafsky
- Abstract要約: 我々は,事実的完全かつ一貫した放射線学報告の創出を促進するために,新たな2つの簡単な報奨制度を導入する。
私たちのシステムでは,ベースラインよりも現実的に完全で一貫性のある世代が生まれることが示されています。
- 参考スコア(独自算出の注目度): 26.846912996765447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural image-to-text radiology report generation systems offer the potential
to improve radiology reporting by reducing the repetitive process of report
drafting and identifying possible medical errors. However, existing report
generation systems, despite achieving high performances on natural language
generation metrics such as CIDEr or BLEU, still suffer from incomplete and
inconsistent generations. Here we introduce two new simple rewards to encourage
the generation of factually complete and consistent radiology reports: one that
encourages the system to generate radiology domain entities consistent with the
reference, and one that uses natural language inference to encourage these
entities to be described in inferentially consistent ways. We combine these
with the novel use of an existing semantic equivalence metric (BERTScore). We
further propose a report generation system that optimizes these rewards via
reinforcement learning. On two open radiology report datasets, our system
substantially improved the F1 score of a clinical information extraction
performance by +22.1 (Delta +63.9%). We further show via a human evaluation and
a qualitative analysis that our system leads to generations that are more
factually complete and consistent compared to the baselines.
- Abstract(参考訳): 神経画像からテキストへの放射線レポート生成システムは、報告書作成の反復過程を削減し、潜在的な医療エラーを識別することにより、放射線レポートを改善する可能性を秘めている。
しかし、既存のレポート生成システムは、CIDErやBLEUのような自然言語生成の指標で高い性能を達成したにもかかわらず、いまだに不完全で一貫性のない世代に悩まされている。
ここでは,放射線学的に完全かつ一貫性のある放射線学レポートの生成を促進するための,新たな2つの簡単な報奨について紹介する。1つは,システムが参照と一貫性のある放射線学ドメインエンティティを生成することを促すもので,もう1つは自然言語推論を用いて,これらのエンティティを推論的に一貫した方法で記述することを奨励するものである。
これらを,既存の意味等価メトリック(BERTScore)の新たな利用と組み合わせる。
さらに,強化学習による報奨を最適化するレポート生成システムを提案する。
2つのオープンラジオロジーレポートデータセットにおいて,臨床情報抽出性能のF1スコアを+22.1(Delta +63.9%)で大幅に改善した。
さらに,人間による評価と質的分析により,本システムは,ベースラインよりも事実的に完全かつ一貫性のある世代へと導かれることを示した。
関連論文リスト
- ICON: Improving Inter-Report Consistency of Radiology Report Generation
via Lesion-aware Mix-up Augmentation [15.342820385162709]
我々は,放射線学レポート生成のレポート間一貫性を改善するICONを提案する。
本手法は,入力画像からまず病変を抽出し,その特徴について検討する。
次に, 意味論的に等価な病変の表現が同一の属性と一致することを保証するために, 病変認識型ミックスアップ拡張手法を提案する。
論文 参考訳(メタデータ) (2024-02-20T09:13:15Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report
Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。
既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。
胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文 参考訳(メタデータ) (2023-11-18T14:37:53Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳(メタデータ) (2023-10-08T17:23:17Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳(メタデータ) (2023-03-18T03:53:43Z) - Improving the Factual Correctness of Radiology Report Generation with
Semantic Rewards [9.175022232984709]
本稿では,RadGraph 報奨という新たな手法を提案する。
本システムは,報告の事実的正しさと完全性を評価する指標において,14.2%と25.3%のスコアを著しく改善する。
論文 参考訳(メタデータ) (2022-10-21T18:27:45Z) - Improving Radiology Report Generation Systems by Removing Hallucinated
References to Non-existent Priors [1.1110995501996481]
本稿では,放射線学報告における過去の文献参照を除去する2つの方法を提案する。
GPT-3をベースとした少数ショットによる医療報告の書き直し手法と,BioBERTをベースとしたトークン分類手法により,先行参照語を直接削除する手法である。
CXR-ReDonEと呼ばれる再学習モデルでは,臨床測定値に対する従来のレポート生成手法を上回り,平均BERTSスコア0.2351(絶対改善率2.57%)を達成した。
論文 参考訳(メタデータ) (2022-09-27T00:44:41Z) - Radiology Report Generation with a Learned Knowledge Base and
Multi-modal Alignment [27.111857943935725]
胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。
本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。
両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2021-12-30T10:43:56Z) - Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation [3.3978173451092437]
放射線画像から記述テキストを自動的に生成することを目的とした放射線学レポート生成。
典型的な設定は、エンコーダとデコーダのモデルを、クロスエントロピー損失のあるイメージレポートペアでトレーニングする。
本稿では,医療報告生成におけるコントラスト損失の弱化について提案する。
論文 参考訳(メタデータ) (2021-09-25T00:06:23Z) - Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。
本稿では,自動レポート生成のための変分トピック推論を提案する。
論文 参考訳(メタデータ) (2021-07-15T13:34:38Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。