論文の概要: Reporting Practice Matters: The Impact of Reference Choice on Chest X-ray Report Evaluation

• arxiv url: http://arxiv.org/abs/2609.19093v1
• Date: Wed, 16 Sep 2026 17:28:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.91997
• Title: Reporting Practice Matters: The Impact of Reference Choice on Chest X-ray Report Evaluation
• Title（参考訳）: 報告実践事項:基準選択が胸部X線検査評価に及ぼす影響
• Abstract要約: 我々は,既存の評価指標の感度をラジオロジーレポートの実践のバリエーションに定量化する。 本稿では,放射線技師による放射線学報告の多様性の分類法と参照レポートを書き換える手法(ReRef)を紹介する。 以上の結果から,現在の測定基準では,臨床解釈と報告プラクティスとの整合性を両立できないことが示唆された。
• 参考スコア（独自算出の注目度）: 36.173977752764536
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radiologists follow heterogeneous reporting practices. Two radiologists examining the same image and identifying the same clinical findings might nevertheless compose superficially distinct reports, varying in terminology, shorthand, formatting, and level of detail. These variations in reporting norms represent an under-appreciated obstacle in efforts to evaluate AI-based radiology report generation (RRG) models, where machine-generated reports are typically assessed based on their concordance with human-generated references. In this paper, we quantify the sensitivity of established evaluation metrics to variations in reporting practices, revealing impacts large enough to alter the rankings of models. We introduce a radiologist-informed taxonomy of variations in radiology reporting practice and a method (ReRef) that rewrites reference reports along the axes of our taxonomy while preserving clinical interpretation. For instance, when comparing the performance of nine RRG models on MIMIC-CXR using RadCliQ-v1, condensing the discussion of normal findings in the reference reports causes Libra to drop from first to second place while CheXOne rises from third to first. Our results suggest that many current metrics fail to decouple clinical interpretation from conformity to reporting practices and that choosing the ``right'' references that accurately reflect the desired reporting practices can be important in practice. To support future research, we release MIMIC-CXR-Ext-ReRef, a radiologist-validated dataset of 120 (original, alternative) reference report pairs derived from MIMIC-CXR.
• Abstract（参考訳）: 放射線学者は異種報告の実践に従う。 同じ画像を調べて同じ臨床所見を同定する2人の放射線学者は、しかしながら、用語、手短、フォーマット、詳細レベルで異なる、表面的に異なるレポートを構成するかもしれない。 これらの報告規範のバリエーションは、AIベースの放射線学レポート生成(RRG)モデルを評価する上で、未承認の障害となっている。 本稿では,確立された評価指標の感度を報告実践のバリエーションに定量化し,モデルランキングを変更するのに十分な影響を明らかにする。 本稿では,放射線技師による放射線学報告の多様性の分類学と,臨床解釈を保ちながら分類学の軸に沿って基準報告を書き換える手法(ReRef)を紹介する。 例えば、RadeCliQ-v1を用いてMIMIC-CXR上の9つのRRGモデルの性能を比較すると、リファレンスレポートにおける通常の発見に関する議論が凝縮され、Libraは第1位から第2位に落ち、CheXOneは第3位から第1位に上昇する。 以上の結果から,報告実践の適合性から臨床解釈を分離することができず,望まれる報告実践を正確に反映した「右」参照の選択が重要であることが示唆された。 今後の研究を支援するため,MIMIC-CXR-Ext-Refを作成した。

関連論文リスト

• Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
  既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。 テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
  論文  参考訳（メタデータ） (2026-06-17T08:10:30Z)
• Toward Clinically Acceptable Chest X-ray Report Generation: A Qualitative Retrospective Pilot Study of CXRMate-2 [10.139968076056071]
  State-of-the-art CXRMate-2は、構造的条件付けと強化学習を統合し、放射線学者の報告とセマンティックアライメントのための複合報酬を提供する。 CXRMate-2を放射線学報告と比較するため, 盲点, 質的評価を行った。 生成された報告は45%のレーティングで許容され(放射線学者の報告と同等に定義または評価されている)、統計的に有意な差は認められなかった。 これらの結果から,CXR RRGの信頼性が示唆された。
  論文  参考訳（メタデータ） (2026-04-21T01:30:51Z)
• Automated Structured Radiology Report Generation [11.965406008391371]
  本稿では,自由テキストラジオロジーレポートを標準化形式に再構成する新しいタスクであるStructured Radiology Report Generation (SRRG)を紹介する。 我々は,大規模言語モデル (LLM) を用いてレポートを再構成し,厳密な構造化されたレポートデシダタに追従して,新しいデータセットを作成する。 また,55ラベルを用いた詳細な疾患分類モデルであるSRR-BERTを導入し,構造化レポートのより正確かつ臨床的に評価した。
  論文  参考訳（メタデータ） (2025-05-30T05:23:01Z)
• RaTEScore: A Metric for Radiology Report Generation [59.37561810438641]
  本稿では,Radiological Report (Text) Evaluation (RaTEScore) として,新しい実体認識尺度を提案する。 RaTEScoreは、診断結果や解剖学的詳細などの重要な医療機関を強調し、複雑な医学的同義語に対して堅牢であり、否定表現に敏感である。 我々の評価は、RaTEScoreが既存の指標よりも人間の嗜好とより密接に一致していることを示し、確立された公開ベンチマークと、新たに提案したRaTE-Evalベンチマークの両方で検証した。
  論文  参考訳（メタデータ） (2024-06-24T17:49:28Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation [7.586632627817609]
  放射線学者は、解釈と報告を必要とする胸部X線(CXR)の量の増加のために、高いバーンアウト率に直面している。 提案するCXRレポートジェネレータは,ワークフローの要素を統合し,強化学習のための新たな報酬を導入する。 本研究の結果から, 提案モデルでは, 最新技術モデルよりも, 放射線学者の報告に適合した報告が生成されることがわかった。
  論文  参考訳（メタデータ） (2023-07-19T05:41:14Z)
• Improving Radiology Report Generation Systems by Removing Hallucinated References to Non-existent Priors [1.1110995501996481]
  本稿では,放射線学報告における過去の文献参照を除去する2つの方法を提案する。 GPT-3をベースとした少数ショットによる医療報告の書き直し手法と,BioBERTをベースとしたトークン分類手法により,先行参照語を直接削除する手法である。 CXR-ReDonEと呼ばれる再学習モデルでは,臨床測定値に対する従来のレポート生成手法を上回り,平均BERTSスコア0.2351(絶対改善率2.57%)を達成した。
  論文  参考訳（メタデータ） (2022-09-27T00:44:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。