論文の概要: Fact-Aware Multimodal Retrieval Augmentation for Accurate Medical Radiology Report Generation

• arxiv url: http://arxiv.org/abs/2407.15268v1
• Date: Sun, 21 Jul 2024 21:04:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 16:40:17.717981
• Title: Fact-Aware Multimodal Retrieval Augmentation for Accurate Medical Radiology Report Generation
• Title（参考訳）: 正確な放射線診断のためのFact-Aware Multimodal Retrieval Augmentation
• Authors: Liwen Sun, James Zhao, Megan Han, Chenyan Xiong,
• Abstract要約: 正確な放射線診断レポートを生成するために,ファクトアウェアなマルチモーダル検索拡張パイプラインを導入する。 私たちはまずRadGraphを活用して実例レポートペアを抽出し、次に実例知識を統合してユニバーサルなマルチモーダルレトリバーをトレーニングします。 実験により,我々のマルチモーダルレトリバーは,言語生成と放射線学固有の指標の両方において最先端のレトリバーより優れていることが示された。
• 参考スコア（独自算出の注目度）: 14.86028303006519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal foundation models hold significant potential for automating radiology report generation, thereby assisting clinicians in diagnosing cardiac diseases. However, generated reports often suffer from serious factual inaccuracy. In this paper, we introduce a fact-aware multimodal retrieval-augmented pipeline in generating accurate radiology reports (FactMM-RAG). We first leverage RadGraph to mine factual report pairs, then integrate factual knowledge to train a universal multimodal retriever. Given a radiology image, our retriever can identify high-quality reference reports to augment multimodal foundation models, thus enhancing the factual completeness and correctness of report generation. Experiments on two benchmark datasets show that our multimodal retriever outperforms state-of-the-art retrievers on both language generation and radiology-specific metrics, up to 6.5% and 2% score in F1CheXbert and F1RadGraph. Further analysis indicates that employing our factually-informed training strategy imposes an effective supervision signal, without relying on explicit diagnostic label guidance, and successfully propagates fact-aware capabilities from the multimodal retriever to the multimodal foundation model in radiology report generation.
• Abstract（参考訳）: マルチモーダルファンデーションモデルは、放射線診断レポート生成の自動化に重要な可能性を秘めており、心臓疾患の診断において臨床医を支援する。 しかし、生成された報告は、しばしば深刻な事実の不正確さに悩まされる。 本稿では,FactMM-RAG(FactMM-RAG)を高精度に生成するための,ファクトアウェアなマルチモーダル検索拡張パイプラインを提案する。 私たちはまずRadGraphを活用して実例レポートペアを抽出し、次に実例知識を統合してユニバーサルなマルチモーダルレトリバーをトレーニングします。 放射線画像から高画質なマルチモーダル基礎モデルへの参照レポートを抽出し,報告生成の事実的完全性と正確性を向上させる。 F1CheXbertとF1RadGraphで最大6.5%と2%のスコアが得られた。 さらに分析した結果,本手法は,診断ラベルの明確なガイダンスを頼らずに効果的な監視信号を課し,マルチモーダルレトリバーからマルチモーダル基礎モデルへのファクトアウェア機能の普及に成功していることがわかった。

関連論文リスト

• Resource-Efficient Medical Report Generation using Large Language Models [3.2627279988912194]
  医療報告生成は胸部X線画像の放射線診断レポートを自動作成する作業である。 本稿では,医療報告生成のタスクに視覚対応大規模言語モデル(LLM)を活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-21T05:08:18Z)
• AutoRG-Brain: Grounded Report Generation for Brain MRI [57.22149878985624]
  放射線学者は、大量の画像を日々のベースで解釈し、対応するレポートを生成する責任を負う。 この要求される作業負荷は、人間のエラーのリスクを高め、治療の遅れ、医療費の増加、収益損失、運用上の不効率につながる可能性がある。 地盤自動報告生成(AutoRG)に関する一連の研究を開始した。 このシステムは、脳の構造の明細化、異常の局所化、そしてよく組織化された発見の生成をサポートする。
  論文  参考訳（メタデータ） (2024-07-23T17:50:00Z)
• Large Model driven Radiology Report Generation with Clinical Quality Reinforcement Learning [16.849933628738277]
  放射線学報告生成 (RRG) は, 放射線技師の作業量削減の可能性から注目されている。 本稿では,新しいRRG法である textbfLM-RRG について紹介する。 MIMIC-CXRおよびIU-Xrayデータセットを用いた実験により,本手法が技術状況よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-11T13:47:11Z)
• MAIRA-1: A specialised large multimodal model for radiology report generation [41.69727330319648]
  胸部X線(CXR)から放射線学的レポートを生成するための放射線学固有のマルチモーダルモデルを提案する。 我々の研究は、学習済みの視覚エンコーダとアライメントすることで、大規模言語モデルにマルチモーダル機能を持たせることができるという考えに基づいている。 提案モデル(MAIRA-1)は,Vicuna-7Bに基づく微調整された大規模言語モデルと協調してCXR固有の画像エンコーダを利用して,最先端の品質のレポートを生成する。
  論文  参考訳（メタデータ） (2023-11-22T19:45:40Z)
• C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network [67.97926983664676]
  ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。 C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-10-09T02:31:36Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
  本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。 MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-08-29T17:44:28Z)
• Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data [66.9359934608229]
  この研究はRadFMと呼ばれるRadlogy Foundation Modelの開発を開始することを目的としている。 われわれの知る限りでは、これは2Dスキャンと3Dスキャンによる、最初の大規模で高品質な医療用ビジュアル言語データセットである。 本稿では,モダリティ認識,疾患診断,視覚的質問応答,レポート生成,合理的診断の5つのタスクからなる新しい評価ベンチマークRadBenchを提案する。
  論文  参考訳（メタデータ） (2023-08-04T17:00:38Z)
• Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment [27.111857943935725]
  胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。 本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。 両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-30T10:43:56Z)
• Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation [55.00308939833555]
  PPKEDには、Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE), Multi-domain Knowledge Distiller (MKD)の3つのモジュールが含まれている。 PoKEは後部知識を探求し、視覚データのバイアスを軽減するために明確な異常な視覚領域を提供する。 PrKEは、以前の医学知識グラフ(医学知識)と以前の放射線学レポート(作業経験)から以前の知識を探り、テキストデータのバイアスを軽減する。
  論文  参考訳（メタデータ） (2021-06-13T11:10:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。