論文の概要: Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality

• arxiv url: http://arxiv.org/abs/2609.27607v1
• Date: Wed, 23 Sep 2026 09:26:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.967807
• Title: Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality
• Title（参考訳）: 放射線診断は可能か? : システム・ワン・モデルによる臨床像の評価
• Abstract要約: Jevは、医師が記述した参考報告書と合意する、シンプルで低コストな審査員である。 RadEvalXでは0.573、RadEvalExpertでは0.398、専門家のエラー数では0.398となる。 1文につき1つのサポート質問は、43-45%少ない判定入力トークンを使用しながら、同様の専門家合意を7に維持する。
• 参考スコア（独自算出の注目度）: 26.34890676985583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An AI-generated radiology report can resemble a physician's report while omitting an abnormality, adding an unsupported finding, or reversing its presence. Measuring these factual differences is essential for evaluating report generators. We study Jev, a System One decision model, as a simple, low-cost judge of agreement with physician-written reference reports. Our evaluator checks whether each statement is supported by the other report and combines these judgments in both directions to capture unsupported claims and omissions. A single-question configuration reaches Kendall correlations of 0.573 on RadEvalX and 0.398 on RadEvalExpert with expert error counts, outperforming an open natural language inference judge under matched decomposition and aggregation. One support question per statement retains similar expert agreement to seven while using 43-45% fewer judgment input tokens. At the documented API price, judgments cost under three cents per hundred report pairs, excluding local decomposition. In a separate controlled-error test, Jev detects false negation with an AUROC of 0.977. Local RadMatch achieves stronger agreement on clinically significant errors in both expert datasets and on total errors in the shared RadEvalExpert subset. Finding-count and error-scope analyses show that benchmark agreement reflects report size and error definitions as well as medical error detection. These results support Jev as a practical judgment component for measuring factual differences in generated radiology reports and identify where more elaborate evaluation remains valuable.
• Abstract（参考訳）: AIが生み出した放射線学レポートは、医師の報告に似ており、異常を省いたり、発見を裏付けたり、その存在を逆転させたりすることができる。 これらの事実差を測定することは、レポートジェネレータを評価するのに不可欠である。 本稿では,システム1決定モデルであるJevについて,医師が記述した基準報告との合意の簡易かつ低コストな判断法として検討する。 我々の評価者は、各声明が他の報告によって支持されているかどうかを確認し、これらの判断をどちらの方向でも組み合わせて、支持できないクレームと省略を捕捉する。 RadEvalExpert上の0.573と、RadEvalExpert上の0.398とのKendall相関に到達し、一致した分解と集約の下で、オープンな自然言語推論判断よりも優れている。 1文につき1つのサポート質問は、43-45%少ない判定入力トークンを使用しながら、同様の専門家合意を7に維持する。 ドキュメント化されたAPI価格では、判断は、ローカルな分解を除いて、100対あたり3セント以下である。 別個の制御エラーテストでは、JevはAUROCの0.977で偽の否定を検出する。 Local RadMatchは、専門家データセットと共有RadEvalExpertサブセットの総エラーの両方において、臨床的に重要なエラーについて、より強い合意を達成している。 カウントとエラースコープの分析は、ベンチマークの合意がレポートサイズとエラー定義を反映し、医療的エラー検出を反映していることを示している。 これらの結果はJevを,生成した放射線学報告の事実差を計測し,より精巧な評価が有効な場所を特定するための実践的判断要素としてサポートしている。

関連論文リスト

• Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [69.06648810271712]
  本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。 3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-15T00:31:01Z)
• RadMatch: Auditable Radiology Report Evaluation via Finding-Level Matching [5.0049748707447]
  RadMatchは、レポートの比較を、意味認識のスコアリングとエラーのキャラクタリゼーションとの構造化された発見レベルマッチングに分解するメトリクスである。 最も臨床的に整合した測定基準であり、ReXValに関する放射線学者間の合意と一致しており、より硬いRadEvalExpert上での最高の測定基準を2倍にしている。 結果を検査するためのインタラクティブなダッシュボードを備えたオープンソースコードとしてRadMatchをリリースします。
  論文  参考訳（メタデータ） (2026-09-01T16:05:17Z)
• RadOT-Eval: Auditable Structured-Evidence Transport for Radiology Report Evaluation [10.674070195561761]
  RadOT-Evalは、ラジオロジーレポート生成のオフライン監査のための、解釈可能な構造化された最適輸送フレームワークである。 基準および候補報告を属性構造化された臨床証拠単位に分解する。 エントロピー規則化された最適輸送を用いて対応するエビデンスを調整し、モノトンリスクモデルにおいて臨床的に有意な側チャネルの相違を利用してエラーの重荷を予測する。
  論文  参考訳（メタデータ） (2026-06-07T18:16:56Z)
• CRIMSON: A Clinically-Grounded LLM-Based Metric for Generative Radiology Report Evaluation [2.61152955442649]
  CRIMSONは胸部X線レポート生成のための臨床基盤評価フレームワークである。 エラーを、誤った発見、不明な発見、8つの属性レベルのエラーを含む包括的な分類に分類する。 CRIMSONは、6人の放射線技師によって注釈された臨床的に重要なエラー数と強く一致して検証される。
  論文  参考訳（メタデータ） (2026-03-06T11:43:42Z)
• Generative Large Language Models Trained for Detecting Errors in Radiology Reports [11.852981889270012]
  このデータセットは、特定のプロンプトを用いてGPT-4によって生成された1,656の合成胸部放射線学報告を含む。 Llama-3、GPT-4、BiomedBERTなどいくつかのモデルはゼロショットプロンプト、少数ショットプロンプト、微調整戦略を用いて改良された。 ゼロショットプロンプトを用いることで、微調整のLlama-3-70B-Instructモデルは、否定誤差0.769、左右誤差0.772、間隔変更エラー0.750、転写エラー0.828、全体の0.780というF1スコアで最高のパフォーマンスを達成した。
  論文  参考訳（メタデータ） (2025-04-06T03:02:36Z)
• ReXErr: Synthesizing Clinically Meaningful Errors in Diagnostic Radiology Reports [1.9106067578277455]
  胸部X線レポート内の代表的エラーを生成するために,大規模言語モデルを活用する手法であるReXErrを紹介する。 我々は、人間とAIが生成したレポートでよくある誤りを捉えるエラーカテゴリを開発した。 本手法は, 臨床応用可能性を維持しつつ, 多様な誤差を注入する新しいサンプリング手法を用いている。
  論文  参考訳（メタデータ） (2024-09-17T01:42:39Z)
• RaTEScore: A Metric for Radiology Report Generation [59.37561810438641]
  本稿では,Radiological Report (Text) Evaluation (RaTEScore) として,新しい実体認識尺度を提案する。 RaTEScoreは、診断結果や解剖学的詳細などの重要な医療機関を強調し、複雑な医学的同義語に対して堅牢であり、否定表現に敏感である。 我々の評価は、RaTEScoreが既存の指標よりも人間の嗜好とより密接に一致していることを示し、確立された公開ベンチマークと、新たに提案したRaTE-Evalベンチマークの両方で検証した。
  論文  参考訳（メタデータ） (2024-06-24T17:49:28Z)
• CLARA: Clinical Report Auto-completion [56.206459591367405]
  CLARA(CLinicit Al It Report It Auto-Completion)は、医師のアンカーワードと部分的に完成した文に基づいて、文章でレポートを生成するインタラクティブな方法である。 実験では,X線で0.393 CIDEr,0.248 BLEU-4,脳波で0.482 CIDEr,0.491 BLEU-4を得た。
  論文  参考訳（メタデータ） (2020-02-26T18:45:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。