論文の概要: Radiology-Aware Model-Based Evaluation Metric for Report Generation
- arxiv url: http://arxiv.org/abs/2311.16764v1
- Date: Tue, 28 Nov 2023 13:08:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 18:34:08.210889
- Title: Radiology-Aware Model-Based Evaluation Metric for Report Generation
- Title(参考訳): 放射線アウェアモデルに基づくレポート生成のための評価指標
- Authors: Amos Calamida, Farhad Nooralahzadeh, Morteza Rohanian, Koji Fujimoto,
Mizuho Nishio, Michael Krauthammer
- Abstract要約: 提案手法は,放射線学領域に適応したCOMETアーキテクチャを用いて,機械による放射線学レポートの自動評価手法を提案する。
我々は、放射線学知識グラフであるRadGraphでトレーニングされた4つの医学的指向のモデルチェックポイントをトレーニングし、公開する。
以上の結果から,BERTscore,BLEU,CheXbertのスコアと中程度の相関が得られた。
- 参考スコア(独自算出の注目度): 5.168471027680258
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a new automated evaluation metric for machine-generated radiology
reports using the successful COMET architecture adapted for the radiology
domain. We train and publish four medically-oriented model checkpoints,
including one trained on RadGraph, a radiology knowledge graph. Our results
show that our metric correlates moderately to high with established metrics
such as BERTscore, BLEU, and CheXbert scores. Furthermore, we demonstrate that
one of our checkpoints exhibits a high correlation with human judgment, as
assessed using the publicly available annotations of six board-certified
radiologists, using a set of 200 reports. We also performed our own analysis
gathering annotations with two radiologists on a collection of 100 reports. The
results indicate the potential effectiveness of our method as a
radiology-specific evaluation metric. The code, data, and model checkpoints to
reproduce our findings will be publicly available.
- Abstract(参考訳): 提案手法は,放射線学領域に適応したCOMETアーキテクチャを用いて,機械による放射線学レポートの自動評価手法を提案する。
放射線学知識グラフであるRadGraphでトレーニングされた4つの医学的なモデルチェックポイントをトレーニングし、公開する。
その結果,我々の測定値は,bertscore,bleu,chexbertスコアなどの確立した測定値と適度に相関していることがわかった。
さらに, このチェックポイントの1つは, 200件の報告を用いて, 6人の放射線科医の公開アノテーションを用いて評価し, 人的判断と高い相関性を示すことを示した。
我々はまた,100件の報告の収集において,2人の放射線学者とアノテーションを収集する独自の分析を行った。
その結果, 放射線学的評価指標としての有効性が示唆された。
調査結果を再現するためのコード、データ、モデルチェックポイントが公開される予定だ。
関連論文リスト
- Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report
Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。
既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。
胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文 参考訳(メタデータ) (2023-11-18T14:37:53Z) - ChatRadio-Valuer: A Chat Large Language Model for Generalizable
Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。
本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。
ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
論文 参考訳(メタデータ) (2023-10-08T17:23:17Z) - Radiology-Llama2: Best-in-Class Large Language Model for Radiology [71.27700230067168]
本稿では,ラジオロジーに特化した大規模言語モデルであるRadiology-Llama2を紹介する。
MIMIC-CXRとOpenIデータセットのROUGEメトリクスを用いた定量的評価は、Radiology-Llama2が最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2023-08-29T17:44:28Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳(メタデータ) (2022-09-28T10:27:10Z) - Human Evaluation and Correlation with Automatic Metrics in Consultation
Note Generation [56.25869366777579]
近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。
5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。
単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
論文 参考訳(メタデータ) (2022-04-01T14:04:16Z) - Event-based clinical findings extraction from radiology reports with
pre-trained language model [0.22940141855172028]
今回,臨床所見を付加した新しい放射線診断報告のコーパスを報告する。
金の標準コーパスには合計500点の注記CTレポートが含まれていた。
BERTを含む2つの最先端ディープラーニングアーキテクチャを用いて、トリガと引数のエンティティを抽出した。
論文 参考訳(メタデータ) (2021-12-27T05:03:10Z) - Learning Semi-Structured Representations of Radiology Reports [10.134080761449093]
放射線学レポートのコーパスを考えると、研究者は特定の医学的発見を説明するレポートのサブセットを見つけることにしばしば興味を持っている。
最近の研究では、ラジオロジーレポートにおける自由文文を、限られた語彙から取られた半構造化語列にマッピングする提案がなされている。
本稿では,放射線学報告の半構造化表現の自動生成手法を提案する。
論文 参考訳(メタデータ) (2021-12-20T18:53:41Z) - RadGraph: Extracting Clinical Entities and Relations from Radiology
Reports [6.419031003699479]
RadGraphは、フルテキストの胸部X線診断レポートにおけるエンティティと関係のデータセットである。
我々のデータセットは、胸部X線写真にリンクした際のコンピュータビジョンやマルチモーダル学習と同様に、医療自然言語処理の幅広い研究を促進することができる。
論文 参考訳(メタデータ) (2021-06-28T08:24:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。