論文の概要: RadRef: A Reference-Free Metric for Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2611.13168v2
- Date: Thu, 12 Nov 2026 11:41:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.895806
- Title: RadRef: A Reference-Free Metric for Radiology Report Generation
- Title(参考訳): RadRef: 放射線学レポート生成のためのリファレンスフリーメトリック
- Abstract要約: RadRefは、臨床発見語彙に関する画像由来の信念に対する報告をスコアする基準のない計量である。
ReXValでは、RadRefは、非タイトな同じラジオグラフィーレポートのペアの中で、放射線学者のランキングと73.1%の合意に達した。
- 参考スコア(独自算出の注目度): 12.57533995426724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-generated radiology reports are commonly evaluated against radiologist-authored references, limiting the applicability of standard reference-based metrics when no reference is available. We introduce RadRef, a reference-free metric that scores report claims against image-derived beliefs over a clinical finding vocabulary, weighted by relevance to the clinical indication. By evaluating findings beyond the report's stated claims, RadRef assesses omissions as well as unsupported assertions. On ReXVal, RadRef achieves $73.1\%$ agreement with radiologist rankings among non-tied same-radiograph report pairs, with $61.8\%$ pair coverage and $64.3\%$ tie-inclusive agreement. Its non-tied agreement is close to GREEN ($73.9\%$) and RadFact ($72.6\%$), with its strongest relative results on omissions. We further evaluate $100$ model-generated and $100$ radiologist-authored reports from $100$ MIMIC-CXR studies, independently annotated by two board-certified radiologists. On same-image omission rankings, RadRef attains Kendall's $τ_b = 0.295$, compared with $0.386$ between the readers. In separate paired comparisons across generated reports, no evaluated comparator significantly outperforms RadRef on omissions. The same image-grounded representation provides a false-finding readout, RadRef-FF, with $τ_b = 0.32$ on ReXVal and $0.29$ in the reader study. Controlled perturbations confirm that RadRef depends on the radiograph, report, and clinical indication. RadRef enables image-grounded evaluation before a radiologist-authored reference exists, supporting quality monitoring of report-generation systems in clinical settings, and complements reference-based metrics when one is available.
- Abstract(参考訳): AI生成した放射線学レポートは、放射線学者による参照に対して一般的に評価され、参照がない場合に標準基準ベースのメトリクスの適用性を制限する。
RadRefは, 臨床所見との関連性によって重み付けされた, 臨床検索語彙に対する画像由来の信念に対する主張をスコアする基準のない指標である。
報告書の主張を超える結果を評価することで、RadRefは失効と断定された主張を評価する。
ReXVal では、RadRef は、非タイトな同じラジオグラフィーのレポートのペアの中で、無線学者のランキングと73.1\%の合意に達し、対のカバレッジは 61.8\%、タイインクルーシブな契約は 644.3\% である。
非合意はGREEN (73.9\%$) と RadFact (72.6\%$) に近く、排ガスに対する最も強い相対的な結果である。
さらに、MIMIC-CXR研究から100ドル(約1万1000円)のモデル生成と100ドル(約1万1000円)の放射線技師による報告を評価しました。
同画像の省略ランクでは、RadRefはKendallの$τ_b = 0.295$を、読者間で$0.386$と比較する。
生成されたレポート間でのペア比較では、評価されたコンパレータは、省略時にRadRefを著しく上回っている。
同じ画像グラウンド表現は、ReXValで$τ_b = 0.32$、リーダースタディで$0.29$の偽フィンディングリードアウトであるRadRef-FFを提供する。
制御された摂動は、RadRefがX線写真、報告、臨床症状に依存することを確認した。
RadRefは、放射線技師が認可する基準が存在する前に画像による評価を可能にし、臨床環境でのレポート生成システムの品質モニタリングをサポートし、利用可能な基準ベースのメトリクスを補完する。
関連論文リスト
- Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality [26.34890676985583]
Jevは、医師が記述した参考報告書と合意する、シンプルで低コストな審査員である。
RadEvalXでは0.573、RadEvalExpertでは0.398、専門家のエラー数では0.398となる。
1文につき1つのサポート質問は、43-45%少ない判定入力トークンを使用しながら、同様の専門家合意を7に維持する。
論文 参考訳(メタデータ) (2026-09-23T09:26:46Z) - Reporting Practice Matters: The Impact of Reference Choice on Chest X-ray Report Evaluation [36.173977752764536]
我々は,既存の評価指標の感度をラジオロジーレポートの実践のバリエーションに定量化する。
本稿では,放射線技師による放射線学報告の多様性の分類法と参照レポートを書き換える手法(ReRef)を紹介する。
以上の結果から,現在の測定基準では,臨床解釈と報告プラクティスとの整合性を両立できないことが示唆された。
論文 参考訳(メタデータ) (2026-09-16T17:28:51Z) - CogRad: A Cognitively-Inspired Multi-Agent Framework for Radiology Report Generation [5.995766869240907]
CogRad(コグラッド)は、放射線学者の読影過程の4段階にまたがる生成を構造化するフレームワークである。
CheXpert Plusでは、CagRadが0.316のBLEU-4と0.322のCIDErを獲得しています。
論文 参考訳(メタデータ) (2026-07-04T12:43:04Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳(メタデータ) (2026-06-17T08:10:30Z) - Toward Clinically Acceptable Chest X-ray Report Generation: A Qualitative Retrospective Pilot Study of CXRMate-2 [10.139968076056071]
State-of-the-art CXRMate-2は、構造的条件付けと強化学習を統合し、放射線学者の報告とセマンティックアライメントのための複合報酬を提供する。
CXRMate-2を放射線学報告と比較するため, 盲点, 質的評価を行った。
生成された報告は45%のレーティングで許容され(放射線学者の報告と同等に定義または評価されている)、統計的に有意な差は認められなかった。
これらの結果から,CXR RRGの信頼性が示唆された。
論文 参考訳(メタデータ) (2026-04-21T01:30:51Z) - CRIMSON: A Clinically-Grounded LLM-Based Metric for Generative Radiology Report Evaluation [2.61152955442649]
CRIMSONは胸部X線レポート生成のための臨床基盤評価フレームワークである。
エラーを、誤った発見、不明な発見、8つの属性レベルのエラーを含む包括的な分類に分類する。
CRIMSONは、6人の放射線技師によって注釈された臨床的に重要なエラー数と強く一致して検証される。
論文 参考訳(メタデータ) (2026-03-06T11:43:42Z) - RaTEScore: A Metric for Radiology Report Generation [59.37561810438641]
本稿では,Radiological Report (Text) Evaluation (RaTEScore) として,新しい実体認識尺度を提案する。
RaTEScoreは、診断結果や解剖学的詳細などの重要な医療機関を強調し、複雑な医学的同義語に対して堅牢であり、否定表現に敏感である。
我々の評価は、RaTEScoreが既存の指標よりも人間の嗜好とより密接に一致していることを示し、確立された公開ベンチマークと、新たに提案したRaTE-Evalベンチマークの両方で検証した。
論文 参考訳(メタデータ) (2024-06-24T17:49:28Z) - Radiomics-Guided Global-Local Transformer for Weakly Supervised
Pathology Localization in Chest X-Rays [65.88435151891369]
Radiomics-Guided Transformer (RGT)は、テキストトグロバル画像情報と、テキストトグロバル情報とを融合する。
RGTは、画像トランスフォーマーブランチ、放射能トランスフォーマーブランチ、および画像と放射線情報を集約する融合層から構成される。
論文 参考訳(メタデータ) (2022-07-10T06:32:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。