論文の概要: LLM-RadJudge: Achieving Radiologist-Level Evaluation for X-Ray Report Generation

• arxiv url: http://arxiv.org/abs/2404.00998v1
• Date: Mon, 1 Apr 2024 09:02:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 22:56:51.584397
• Title: LLM-RadJudge: Achieving Radiologist-Level Evaluation for X-Ray Report Generation
• Title（参考訳）: LLM-RadJudge: X線レポート生成のための放射線学レベル評価の達成
• Authors: Zilong Wang, Xufang Luo, Xinyang Jiang, Dongsheng Li, Lili Qiu,
• Abstract要約: 生成された放射線学レポートを評価することは、放射線学AIの開発に不可欠である。 本研究では,大規模言語モデル (LLM) を用いた新しい評価手法を提案する。
• 参考スコア（独自算出の注目度）: 37.20505633019773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating generated radiology reports is crucial for the development of radiology AI, but existing metrics fail to reflect the task's clinical requirements. This study proposes a novel evaluation framework using large language models (LLMs) to compare radiology reports for assessment. We compare the performance of various LLMs and demonstrate that, when using GPT-4, our proposed metric achieves evaluation consistency close to that of radiologists. Furthermore, to reduce costs and improve accessibility, making this method practical, we construct a dataset using LLM evaluation results and perform knowledge distillation to train a smaller model. The distilled model achieves evaluation capabilities comparable to GPT-4. Our framework and distilled model offer an accessible and efficient evaluation method for radiology report generation, facilitating the development of more clinically relevant models. The model will be further open-sourced and accessible.
• Abstract（参考訳）: 生成された放射線学レポートを評価することは、放射線学AIの開発に不可欠であるが、既存のメトリクスはタスクの臨床的要件を反映していない。 本研究では,大規模言語モデル (LLM) を用いた新しい評価手法を提案する。 各種LCMの性能の比較を行い, GPT-4を用いた場合, 提案手法は放射線技師と同等の精度で評価できることを示した。 さらに, コスト削減とアクセシビリティ向上のために, LLM評価結果を用いてデータセットを構築し, 知識蒸留を行い, より小さなモデルを訓練する。 蒸留されたモデルは、GPT-4に匹敵する評価能力を達成する。 筆者らのフレームワークと蒸留モデルは,放射線学報告生成のためのアクセス可能かつ効率的な評価方法を提供し,より臨床的に関係のあるモデルの開発を容易にする。 このモデルは、さらにオープンソース化され、アクセスできるようになる。

関連論文リスト

• Uncovering Knowledge Gaps in Radiology Report Generation Models through Knowledge Graphs [18.025481751074214]
  我々はReXKGというシステムを導入し,処理されたレポートから構造化された情報を抽出し,放射線学知識グラフを構築する。 我々はAIと人手による放射線学レポートの詳細な比較分析を行い、専門家モデルとジェネラリストモデルの両方のパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2024-08-26T16:28:56Z)
• RaTEScore: A Metric for Radiology Report Generation [59.37561810438641]
  本稿では,Radiological Report (Text) Evaluation (RaTEScore) として,新しい実体認識尺度を提案する。 RaTEScoreは、診断結果や解剖学的詳細などの重要な医療機関を強調し、複雑な医学的同義語に対して堅牢であり、否定表現に敏感である。 我々の評価は、RaTEScoreが既存の指標よりも人間の嗜好とより密接に一致していることを示し、確立された公開ベンチマークと、新たに提案したRaTE-Evalベンチマークの両方で検証した。
  論文  参考訳（メタデータ） (2024-06-24T17:49:28Z)
• MRScore: Evaluating Radiology Report Generation with LLM-based Reward System [39.54237580336297]
  本稿では,Large Language Models (LLMs) を利用した放射線学レポート生成のための自動評価指標 MRScore を紹介する。 この課題に対処するため,我々は放射線学者と共同で,放射線学報告評価のためのLCMをガイドするフレームワークを開発し,ヒト分析との整合性を確保した。 実験では,MSScoreが人間の判断と高い相関性を示し,従来の指標と比較して,モデル選択における優れた性能を示した。
  論文  参考訳（メタデータ） (2024-04-27T04:42:45Z)
• Large Model driven Radiology Report Generation with Clinical Quality Reinforcement Learning [16.849933628738277]
  放射線学報告生成 (RRG) は, 放射線技師の作業量削減の可能性から注目されている。 本稿では,新しいRRG法である textbfLM-RRG について紹介する。 MIMIC-CXRおよびIU-Xrayデータセットを用いた実験により,本手法が技術状況よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-11T13:47:11Z)
• Leveraging Professional Radiologists' Expertise to Enhance LLMs' Evaluation for Radiology Reports [22.599250713630333]
  提案手法は,Large Language Models (LLMs) を用いた専門的放射線技師の専門知識を相乗化する。 我々のアプローチは、LLM評価を放射線学の基準と整合させ、人間とAIが生成したレポートの詳細な比較を可能にする。 実験の結果, 詳細な GPT-4 (5-shot) モデルでは0.48 のスコアが得られ, METEOR のスコアは0.19 を上回った。
  論文  参考訳（メタデータ） (2024-01-29T21:24:43Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
  本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。 MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2023-08-29T17:44:28Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。