論文の概要: Semantic Consistency-Based Uncertainty Quantification for Factuality in Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2412.04606v2
- Date: Sun, 16 Mar 2025 19:19:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 14:56:57.179092
- Title: Semantic Consistency-Based Uncertainty Quantification for Factuality in Radiology Report Generation
- Title(参考訳): 放射線診断レポート生成における意味的一貫性に基づく不確実性定量化
- Authors: Chenyu Wang, Weichao Zhou, Shantanu Ghosh, Kayhan Batmanghelich, Wenchao Li,
- Abstract要約: 生成医療ビジョン大言語モデル(VLLM)は幻覚を起こしやすく、不正確な診断情報を生成できる。
報告レベルと文レベルの不確実性の両方を提供するセマンティック一貫性に基づく不確実性定量化フレームワークを新たに導入する。
提案手法は,MIMIC-CXRデータセット上のtexttRadialogモデルを用いて,20ドル分のレポートを拒否することで,事実性スコアを10ドル%改善する。
- 参考スコア(独自算出の注目度): 20.173287130474797
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Radiology report generation (RRG) has shown great potential in assisting radiologists by automating the labor-intensive task of report writing. While recent advancements have improved the quality and coherence of generated reports, ensuring their factual correctness remains a critical challenge. Although generative medical Vision Large Language Models (VLLMs) have been proposed to address this issue, these models are prone to hallucinations and can produce inaccurate diagnostic information. To address these concerns, we introduce a novel Semantic Consistency-Based Uncertainty Quantification framework that provides both report-level and sentence-level uncertainties. Unlike existing approaches, our method does not require modifications to the underlying model or access to its inner state, such as output token logits, thus serving as a plug-and-play module that can be seamlessly integrated with state-of-the-art models. Extensive experiments demonstrate the efficacy of our method in detecting hallucinations and enhancing the factual accuracy of automatically generated radiology reports. By abstaining from high-uncertainty reports, our approach improves factuality scores by $10$\%, achieved by rejecting $20$\% of reports using the \texttt{Radialog} model on the MIMIC-CXR dataset. Furthermore, sentence-level uncertainty flags the lowest-precision sentence in each report with an $82.9$\% success rate. Our implementation is open-source and available at https://github.com/BU-DEPEND-Lab/SCUQ-RRG.
- Abstract(参考訳): 放射線学報告生成 (RRG) は, 労働集約的な報告書作成作業を自動化することで, 放射線科医を支援する大きな可能性を示している。
最近の進歩は、生成されたレポートの品質と一貫性を改善してきたが、事実の正確性を保証することは、依然として重要な課題である。
生成医療用視覚大言語モデル(VLLM)はこの問題に対処するために提案されているが、これらのモデルは幻覚を起こす傾向があり、不正確な診断情報を生成することができる。
これらの問題に対処するため、我々は、レポートレベルと文レベルの不確実性の両方を提供する、セマンティック一貫性に基づく不確実性定量化フレームワークを新たに導入する。
既存の手法とは異なり,本手法では,出力トークンのロジットなどの内部状態の変更や,内部状態へのアクセスを必要とせず,プラグイン・アンド・プレイモジュールとして機能し,最先端モデルとシームレスに統合できる。
本手法による幻覚の検出と,自動生成放射線診断の精度向上効果について検討した。
MIMIC-CXR データセット上の \texttt{Radialog} モデルを用いて,20ドル\% のレポートを拒絶することにより,事実性スコアを10ドル\%向上させる。
さらに、文レベルの不確実性は、各レポートで最低精度の文を82.9$\%の成功率でフラグ付けする。
私たちの実装はオープンソースで、https://github.com/BU-DEPEND-Lab/SCUQ-RRG.comで公開しています。
関連論文リスト
- MedAutoCorrect: Image-Conditioned Autocorrection in Medical Reporting [31.710972402763527]
医療報告では、人や機械学習アルゴリズムが生み出す放射線学的な報告の正確さが重要である。
本稿では,これらの報告における不正確な画像条件の自動補正という新たな課題に取り組む。
本稿では,これらの誤りを指摘し,修正を行い,テキスト自動補正プロセスをシミュレートする2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-04T02:32:53Z) - Anatomically-Grounded Fact Checking of Automated Chest X-ray Reports [0.0]
そこで本稿では, 報告によって提示された発見とその位置の誤りを識別する, 説明可能なファクトチェックのための新しいモデルを提案する。
我々は,複数のSOTA自動報告ツールが生成した報告の修正において,結果のファクトチェックモデルとその有用性を評価する。
論文 参考訳(メタデータ) (2024-12-03T05:21:42Z) - ReXErr: Synthesizing Clinically Meaningful Errors in Diagnostic Radiology Reports [1.9106067578277455]
胸部X線レポート内の代表的エラーを生成するために,大規模言語モデルを活用する手法であるReXErrを紹介する。
我々は、人間とAIが生成したレポートでよくある誤りを捉えるエラーカテゴリを開発した。
本手法は, 臨床応用可能性を維持しつつ, 多様な誤差を注入する新しいサンプリング手法を用いている。
論文 参考訳(メタデータ) (2024-09-17T01:42:39Z) - Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。
反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。
2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
論文 参考訳(メタデータ) (2024-07-19T17:24:25Z) - X-ray Made Simple: Lay Radiology Report Generation and Robust Evaluation [22.09740244042415]
ラジオロジーレポート生成(RRG)はマルチモーダル生成モデルの開発で大きく進歩している。
既存の語彙ベースのメトリクスで高いパフォーマンスを持つRRGは、単なるミラージュです - モデルはレポートのテンプレートを学習することでのみ、高いBLEUを得ることができます。
本稿では,BLEUの膨らませた数を軽減し,より堅牢な評価を行うセマンティクスに基づく評価手法を提案する。
論文 参考訳(メタデータ) (2024-06-25T19:52:01Z) - ICON: Improving Inter-Report Consistency in Radiology Report Generation via Lesion-aware Mixup Augmentation [14.479606737135045]
我々は,放射線学レポート生成のレポート間一貫性を改善するICONを提案する。
まず,入力画像から病変を抽出し,その特徴について検討する。
次に, 意味論的に等価な病変の表現が同一の属性と一致することを確実にするために, 病変認識ミックスアップ手法を導入する。
論文 参考訳(メタデータ) (2024-02-20T09:13:15Z) - It's Never Too Late: Fusing Acoustic Information into Large Language
Models for Automatic Speech Recognition [70.77292069313154]
大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。
本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
論文 参考訳(メタデータ) (2024-02-08T07:21:45Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-16T07:23:55Z) - Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。
本稿では,自動レポート生成のための変分トピック推論を提案する。
論文 参考訳(メタデータ) (2021-07-15T13:34:38Z) - Confidence-Guided Radiology Report Generation [24.714303916431078]
本稿では,放射線学レポート作成作業における視覚的不確実性とテキスト的不確実性の両方を定量化する手法を提案する。
実験結果から, モデル不確実性評価と推定のための提案手法が, ラジオロジーレポート生成の信頼性向上に有効であることが示唆された。
論文 参考訳(メタデータ) (2021-06-21T07:02:12Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z) - UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced
Data [81.00385374948125]
我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。
UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。
非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。
UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
論文 参考訳(メタデータ) (2020-10-22T02:28:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。