論文の概要: Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset

• arxiv url: http://arxiv.org/abs/2606.22382v1
• Date: Sun, 21 Jun 2026 08:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 18:36:06.641251
• Title: Large Language Model-Assisted Cleaning of Report-Derived Labels in a Large-Scale Chest CT Dataset
• Title（参考訳）: 大規模胸部CTデータセットを用いた大規模言語モデルによる報告ラベルのクリーン化
• Authors: Yosuke Yamagishi, Atsushi Takamatsu, Mototsugu Sato, Tomohiro Kikuchi, Shouhei Hanaoka, Takeharu Yoshikawa, Osamu Abe,
• Abstract要約: 大規模言語モデル(LLM)支援ラベルクリーニングがCT-RATEにおけるラベル報告不一致を識別できるかどうかを評価する。 報告レベルが低下した後、24,446のユニークな放射線診断報告が発見された。 GPT-5.4由来のラベルとCT-RATEラベルの全体的な合意は96.4%であり、コーエンのカッパは0.884である。
• 参考スコア（独自算出の注目度）: 0.0177677587528917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Purpose: To evaluate whether large language model (LLM)-assisted label cleaning can identify label-report discordance in CT-RATE, a large-scale public chest CT dataset. Materials and Methods: After report-level deduplication, 24,446 unique radiology reports were identified. Twelve reports were excluded from the primary GPT-5.4 analysis because of Microsoft Azure AI Foundry content-safety filtering, leaving 24,434 reports and 439,812 label instances across 18 abnormality categories. GPT-5.4-derived binary labels were generated from report text using structured JSON output and compared with existing CT-RATE labels. Discordant instances were adjudicated by radiologists. In addition, 100 randomly sampled reports were manually annotated to compare CT-RATE labels, individual LLM-derived labels, and multi-LLM majority-vote labels against radiologist-annotated reference labels. Results: Overall agreement between GPT-5.4-derived and CT-RATE labels was 96.4%, with Cohen's kappa of 0.884. Lymphadenopathy showed the lowest agreement and kappa. In discordance review, radiologist adjudication supported GPT-5.4-derived labels in 72 of 97 (74.2%) general discordant instances and 91 of 99 (91.9%) targeted lymphadenopathy discordant instances. Against radiologist-annotated reference labels, multi-LLM majority-vote labels achieved the highest label-macro-averaged F1 score and Cohen's kappa. Conclusion: LLM-assisted label cleaning identified clinically meaningful label-report discordance in CT-RATE and may support scalable quality improvement of public imaging datasets. The cleaned dataset will be made publicly available to support future research.
• Abstract（参考訳）: 目的: 大規模胸部CTデータセットであるCT-RATEにおいて, 大規模言語モデル(LLM)を用いたラベルクリーニングがラベル報告不一致を識別できるかどうかを評価する。 材料と方法: 報告レベルが低下した後, 24,446 のユニークな放射線診断報告が同定された。 Microsoft Azure AI Foundryのコンテンツセーフティフィルタリングのため、12のレポートが主要なGPT-5.4分析から除外され、18の異常カテゴリで24,434のレポートと439,812のラベルインスタンスが残された。 GPT-5.4由来のバイナリラベルは構造化JSON出力を用いてレポートテキストから生成され、既存のCT-RATEラベルと比較された。 異例の症例は放射線学者によって告発された。 また,CT-RATEラベル,個々のLDM由来ラベル,複数LLM多数投票ラベルを放射線医別基準ラベルと比較するために,ランダムな100のレポートを手動でアノテートした。 結果: GPT-5.4由来ラベルとCT-RATEラベルの総合的な一致は96.4%であり, コーエンのカッパは0.884であった。 リンパ腺腫は最も低一致であり,カッパと診断された。 不一致レビューでは、GPT-5.4由来のラベルを97例中72例(74.2%)、99例中91例(91.9%)で支持した。 放射線学者が注釈を付けた基準ラベルに対して、マルチLLMの多数投票ラベルは、平均的なF1スコアとコーエンのカッパの最高スコアを達成した。 結論: LLMによるラベルクリーニングはCT-RATEにおける臨床的に有意なラベル報告の不一致を同定し, 公開画像データセットのスケーラブルな品質改善を支援する可能性がある。 クリーン化されたデータセットは、将来の研究をサポートするために公開されている。

関連論文リスト

• RSNA Large Language Model Benchmark Dataset for Chest Radiographs of Cardiothoracic Disease: Radiologist Evaluation and Validation Enhanced by AI Labels (REVEAL-CXR) [27.699008063855146]
  GPT-4oは13,735個の胸部X線写真から異常所見を抽出した。 専門家のレビューのために、AIが推奨するベンチマークラベルに基づいて1000がサンプリングされた。 17名の胸部放射線科医が参加し、「Agree all」「Agree mostly」「Disagree」と名づけた。
  論文  参考訳（メタデータ） (2026-01-21T16:04:01Z)
• Large Language Model-Based Uncertainty-Adjusted Label Extraction for Artificial Intelligence Model Development in Upper Extremity Radiography [1.1994929325702173]
  GPT-4oは、画像所見を現在(真)、不在(偽)、不確か(不確か)として示すことによって、構造化テンプレートを埋める ラベルの不確実性の影響を評価するため、トレーニングと検証セットの「不確実」ラベルは、自動的に「真」または「偽」に再割り当てされる。
  論文  参考訳（メタデータ） (2025-10-07T08:19:18Z)
• Can Modern NLP Systems Reliably Annotate Chest Radiography Exams? A Pre-Purchase Evaluation and Comparative Study of Solutions from AWS, Google, Azure, John Snow Labs, and Open-Source Models on an Independent Pediatric Dataset [0.0]
  本研究では,エンティティ抽出とアサーション検出のための4つの臨床NLPシステムの比較を行った。 CheXpertとCheXbertの2つの専用の胸部X線写真レポートラベルが同じタスクで評価された。 小児科大病院における95,008例のCXR報告について検討した。
  論文  参考訳（メタデータ） (2025-05-29T03:16:18Z)
• Label Distribution Learning with Biased Annotations by Learning Multi-Label Representation [120.97262070068224]
  マルチラベル学習(MLL)は,実世界のデータ表現能力に注目されている。 ラベル分布学習(LDL)は正確なラベル分布の収集において課題に直面している。
  論文  参考訳（メタデータ） (2025-02-03T09:04:03Z)
• MIMIC-IV-Ext-PE: Using a large language model to predict pulmonary embolism phenotype in the MIMIC-IV dataset [0.0]
  肺塞栓症は院内死亡予防の主因である。 研究用のPEラベルを含む大規模な公開データセットは少ない。 我々はCTPAスキャンで得られた全放射線診断報告を抽出し、2名の医師が手動でPE陽性(急性PE)またはPE陰性(PE陰性)と診断した。 我々は、ラベルを自動的に抽出するために、以前に微調整されたBio_ClinicalBERT変換言語モデル、VTE-BERTを適用した。
  論文  参考訳（メタデータ） (2024-10-29T19:28:44Z)
• WSSS4LUAD: Grand Challenge on Weakly-supervised Tissue Semantic Segmentation for Lung Adenocarcinoma [51.50991881342181]
  この課題には10,091個のパッチレベルのアノテーションと1300万以上のラベル付きピクセルが含まれる。 第一位チームは0.8413mIoUを達成した(腫瘍:0.8389、ストーマ:0.7931、正常:0.8919)。
  論文  参考訳（メタデータ） (2022-04-13T15:27:05Z)
• Supervised Machine Learning Algorithm for Detecting Consistency between Reported Findings and the Conclusions of Mammography Reports [66.89977257992568]
  マンモグラフィーは患者の病態の診断を文書化する。 多くの報告は非標準用語(非BI-RADS記述子)と不完全文を含んでいる。 本研究の目的は,報告された結論と,報告された放射線学の知見に基づいて期待される結果とを比較して,そのような不一致を検出するツールを開発することである。
  論文  参考訳（メタデータ） (2022-02-28T08:59:04Z)
• Label-Assemble: Leveraging Multiple Datasets with Partial Labels [68.46767639240564]
  Label-Assemble”は、公開データセットのアセンブリから部分的なラベルの可能性を最大限に活用することを目的としている。 陰例からの学習は,コンピュータ支援型疾患の診断と検出の双方を促進することが判明した。
  論文  参考訳（メタデータ） (2021-09-25T02:48:17Z)
• VisualCheXbert: Addressing the Discrepancy Between Radiology Report Labels and Image Labels [4.865330207715854]
  胸部x線画像のラベリングには放射線科医の意見が異なっていた。 画像のラベリングとよりよく一致したラジオロジーレポートからラベルを作成する手法を開発し,評価する。
  論文  参考訳（メタデータ） (2021-02-23T03:02:36Z)
• Machine-Learning-Based Multiple Abnormality Prediction with Large-Scale Chest Computed Tomography Volumes [64.21642241351857]
  19,993症例から36,316巻の胸部CTデータセットを収集,解析した。 自由テキストラジオグラフィーレポートから異常ラベルを自動的に抽出するルールベース手法を開発した。 胸部CTボリュームの多臓器・多臓器分類モデルも開発した。
  論文  参考訳（メタデータ） (2020-02-12T00:59:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。