論文の概要: RadBERT-CL: Factually-Aware Contrastive Learning For Radiology Report Classification

• arxiv url: http://arxiv.org/abs/2110.15426v1
• Date: Thu, 28 Oct 2021 20:31:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-01 13:38:55.362999
• Title: RadBERT-CL: Factually-Aware Contrastive Learning For Radiology Report Classification
• Title（参考訳）: RadBERT-CL:放射線医学レポート分類のための相互対応型コントラスト学習
• Authors: Ajay Jaiswal, Liyan Tang, Meheli Ghosh, Justin Rousseau, Yifan Peng, Ying Ding
• Abstract要約: RadBERT-CLは,自己監督型コントラスト損失を通じて,現実的かつ重要な情報をBlueBertに融合する。 MIMIC-CXRを用いた実験により,マルチクラス・マルチラベルレポート分類のための微調整におけるRadBERT-CLの性能が向上した。
• 参考スコア（独自算出の注目度）: 10.644113200304691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radiology reports are unstructured and contain the imaging findings and corresponding diagnoses transcribed by radiologists which include clinical facts and negated and/or uncertain statements. Extracting pathologic findings and diagnoses from radiology reports is important for quality control, population health, and monitoring of disease progress. Existing works, primarily rely either on rule-based systems or transformer-based pre-trained model fine-tuning, but could not take the factual and uncertain information into consideration, and therefore generate false-positive outputs. In this work, we introduce three sedulous augmentation techniques which retain factual and critical information while generating augmentations for contrastive learning. We introduce RadBERT-CL, which fuses these information into BlueBert via a self-supervised contrastive loss. Our experiments on MIMIC-CXR show superior performance of RadBERT-CL on fine-tuning for multi-class, multi-label report classification. We illustrate that when few labeled data are available, RadBERT-CL outperforms conventional SOTA transformers (BERT/BlueBert) by significantly larger margins (6-11%). We also show that the representations learned by RadBERT-CL can capture critical medical information in the latent space.
• Abstract（参考訳）: 放射線学報告は非構造化されており、臨床事実や否定的または不確実な声明を含む放射線医によって転写された画像所見とそれに対応する診断を含んでいる。 病理所見の抽出と放射線検査からの診断は, 品質管理, 人口健康, 疾患進展のモニタリングに重要である。 既存の研究は、主にルールベースのシステムやトランスフォーマーベースの事前訓練されたモデル微調整に頼っているが、事実や不確実な情報を考慮に入れることができず、したがって偽陽性の出力を生成する。 本研究では,コントラスト学習のための強化を生成しつつ,事実情報と批判情報を保持できる3つの巧妙な拡張手法を提案する。 RadBERT-CLを導入し,これら情報をBlueBertに注入する。 mimic-cxr実験により,マルチクラスマルチラベルレポート分類におけるradbert-clの微調整性能が向上した。 ラベル付きデータが少ない場合、RadBERT-CLは従来のSOTA変換器(BERT/BlueBert)よりもはるかに大きなマージン(6-11%)で性能を向上する。 また,RadBERT-CLが学習した表現は,潜伏空間において重要な医療情報を捉えることができることを示す。

関連論文リスト

• Can Rule-Based Insights Enhance LLMs for Radiology Report Classification? Introducing the RadPrompt Methodology [17.21669080865246]
  RadPertは、不確実性を認識した情報スキーマを合理化されたルールセットに統合し、パフォーマンスを向上させるルールベースのシステムである。 RadPromptは、RadPertを活用して、大規模な言語モデルのゼロショット予測能力を活性化するマルチターンプロンプト戦略である。 MIMIC-CXRゴールドスタンダードテストセットとケンブリッジ大学病院から収集したゴールドスタンダードデータセットの2つのイングリッシュコーパスについて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2024-08-07T23:09:23Z)
• Medical Report Generation based on Segment-Enhanced Contrastive Representation Learning [39.17345313432545]
  臓器, 異常, 骨等を分類するためのMSCL(医学画像とコントラスト学習)を提案する。 トレーニング中にターゲットとセマンティックに類似したレポートにより多くの重みを割り当てる教師付きコントラスト損失を導入する。 実験の結果,提案手法の有効性が示され,IU X線公開データセット上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2023-12-26T03:33:48Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation [7.586632627817609]
  放射線学者は、解釈と報告を必要とする胸部X線(CXR)の量の増加のために、高いバーンアウト率に直面している。 提案するCXRレポートジェネレータは,ワークフローの要素を統合し,強化学習のための新たな報酬を導入する。 本研究の結果から, 提案モデルでは, 最新技術モデルよりも, 放射線学者の報告に適合した報告が生成されることがわかった。
  論文  参考訳（メタデータ） (2023-07-19T05:41:14Z)
• Learning to diagnose cirrhosis from radiological and histological labels with joint self and weakly-supervised pretraining strategies [62.840338941861134]
  そこで本稿では, 放射線学者が注釈付けした大規模データセットからの転写学習を活用して, 小さい付加データセットで利用できる組織学的スコアを予測することを提案する。 我々は,肝硬変の予測を改善するために,異なる事前訓練法,すなわち弱い指導法と自己指導法を比較した。 この方法は、METAVIRスコアのベースライン分類を上回り、AUCが0.84、バランスの取れた精度が0.75に達する。
  論文  参考訳（メタデータ） (2023-02-16T17:06:23Z)
• Improving Radiology Report Generation Systems by Removing Hallucinated References to Non-existent Priors [1.1110995501996481]
  本稿では,放射線学報告における過去の文献参照を除去する2つの方法を提案する。 GPT-3をベースとした少数ショットによる医療報告の書き直し手法と,BioBERTをベースとしたトークン分類手法により,先行参照語を直接削除する手法である。 CXR-ReDonEと呼ばれる再学習モデルでは,臨床測定値に対する従来のレポート生成手法を上回り,平均BERTSスコア0.2351(絶対改善率2.57%)を達成した。
  論文  参考訳（メタデータ） (2022-09-27T00:44:41Z)
• Data-Efficient Vision Transformers for Multi-Label Disease Classification on Chest Radiographs [55.78588835407174]
  視覚変換器(ViT)は一般的な画像の分類性能が高いにもかかわらず、このタスクには適用されていない。 ViTは、畳み込みではなくパッチベースの自己アテンションに依存しており、CNNとは対照的に、ローカル接続に関する事前の知識は存在しない。 以上の結果から,ViTとCNNのパフォーマンスはViTの利点に匹敵するものの,DeiTsはトレーニング用に適度に大規模なデータセットが利用可能であれば,前者よりも優れることがわかった。
  論文  参考訳（メタデータ） (2022-08-17T09:07:45Z)
• Less is More: Adaptive Curriculum Learning for Thyroid Nodule Diagnosis [50.231954872304314]
  不整合ラベルによるサンプルの発見と破棄を適応的に行うAdaptive Curriculum Learningフレームワークを提案する。 また、TNCD: Thyroid Nodule Classification データセットも提供します。
  論文  参考訳（メタデータ） (2022-07-02T11:50:02Z)
• Variational Knowledge Distillation for Disease Classification in Chest X-Rays [102.04931207504173]
  我々は,X線に基づく疾患分類のための新しい確率的推論フレームワークである反復的知識蒸留(VKD)を提案する。 提案手法の有効性を,X線画像とEHRを用いた3つの公開ベンチマークデータセットに示す。
  論文  参考訳（メタデータ） (2021-03-19T14:13:56Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。