論文の概要: Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders
- arxiv url: http://arxiv.org/abs/2212.07050v3
- Date: Fri, 11 Oct 2024 08:19:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:28:57.090017
- Title: Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders
- Title(参考訳): 微調整事前学習画像テキストエンコーダによるゼロショットX線病理分類の改善
- Authors: Jongseong Jang, Daeun Kyung, Seung Hwan Kim, Honglak Lee, Kyunghoon Bae, Edward Choi,
- Abstract要約: 本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。
提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
- 参考スコア(独自算出の注目度): 50.689585476660554
- License:
- Abstract: Deep neural networks are increasingly used in medical imaging for tasks such as pathological classification, but they face challenges due to the scarcity of high-quality, expert-labeled training data. Recent efforts have utilized pre-trained contrastive image-text models like CLIP, adapting them for medical use by fine-tuning the model with chest X-ray images and corresponding reports for zero-shot pathology classification, thus eliminating the need for pathology-specific annotations. However, most studies continue to use the same contrastive learning objectives as in the general domain, overlooking the multi-labeled nature of medical image-report pairs. In this paper, we propose a new fine-tuning strategy that includes positive-pair loss relaxation and random sentence sampling. We aim to improve the performance of zero-shot pathology classification without relying on external knowledge. Our method can be applied to any pre-trained contrastive image-text encoder and easily transferred to out-of-domain datasets without further training, as it does not use external data. Our approach consistently improves overall zero-shot pathology classification across four chest X-ray datasets and three pre-trained models, with an average macro AUROC increase of 4.3%. Additionally, our method outperforms the state-of-the-art and marginally surpasses board-certified radiologists in zero-shot classification for the five competition pathologies in the CheXpert dataset.
- Abstract(参考訳): ディープ・ニューラル・ネットワークは、病理分類などのタスクのために医療画像にますます使われているが、高品質のエキスパートラベル付きトレーニングデータが不足しているため、課題に直面している。
近年の取り組みでは、CLIPのような訓練済みのコントラスト画像テキストモデルを利用して、胸部X線画像とそれに対応するゼロショットの病理分類のためのレポートを微調整することで、医療用途に適応している。
しかし、ほとんどの研究は一般的な領域と同様の対照的な学習目標を使い続けており、医用画像-レポートペアのマルチラベルの性質を見越している。
本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。
外部知識に頼らずにゼロショット病理分類の性能を向上させることを目的としている。
提案手法は、事前訓練されたコントラスト画像テキストエンコーダに適用可能であり、外部データを使用しないため、さらなるトレーニングをすることなく、ドメイン外のデータセットに容易に転送できる。
提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を継続的に改善し,平均マクロAUROCは4.3%増加した。
さらに,本手法は,CheXpertデータセットの5つの競合病因のゼロショット分類において,最先端の放射線学者よりも優れ,基板認証された放射線学者をわずかに上回っている。
関連論文リスト
- Performance of GAN-based augmentation for deep learning COVID-19 image
classification [57.1795052451257]
ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。
データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。
本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
論文 参考訳(メタデータ) (2023-04-18T15:39:58Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - COVID-19 Severity Classification on Chest X-ray Images [0.0]
本研究は,感染の重症度に基づいて画像の分類を行う。
ResNet-50モデルは精度95%、リコール(0.94)、F1スコア(0.92)、精度(0.91)で顕著な分類結果を得た。
論文 参考訳(メタデータ) (2022-05-25T12:01:03Z) - Application of Transfer Learning and Ensemble Learning in Image-level
Classification for Breast Histopathology [9.037868656840736]
CAD(Computer-Aided Diagnosis)では、従来の分類モデルでは、主に1つのネットワークを使って特徴を抽出する。
本稿では良性病変と悪性病変のバイナリ分類のための画像レベルラベルに基づく深層アンサンブルモデルを提案する。
結果: アンサンブルネットワークモデルにおいて、画像レベルのバイナリ分類は9,8.90%の精度を達成する。
論文 参考訳(メタデータ) (2022-04-18T13:31:53Z) - Vision Transformers for femur fracture classification [59.99241204074268]
Vision Transformer (ViT) はテスト画像の83%を正確に予測することができた。
史上最大かつ最もリッチなデータセットを持つサブフラクチャーで良い結果が得られた。
論文 参考訳(メタデータ) (2021-08-07T10:12:42Z) - Transfer Learning with Ensembles of Deep Neural Networks for Skin Cancer
Classification in Imbalanced Data Sets [0.6802401545890961]
医療画像から皮膚癌を正確に分類するための機械学習技術が報告されている。
多くのテクニックは、訓練済みの畳み込みニューラルネットワーク(CNN)に基づいており、限られたトレーニングデータに基づいてモデルをトレーニングすることができる。
本稿では,複数のcnnモデルが事前学習され,一部は手元のデータのみにトレーニングされ,患者情報(メタデータ)はメタリーナーを用いて結合される,新しいアンサンブルベースのcnnアーキテクチャを提案する。
論文 参考訳(メタデータ) (2021-03-22T06:04:45Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳(メタデータ) (2021-02-26T02:29:30Z) - Metastatic Cancer Image Classification Based On Deep Learning Method [7.832709940526033]
画像分類におけるディープラーニングアルゴリズム, DenseNet169 フレームワーク, Rectified Adam 最適化アルゴリズムを併用したNoval法を提案する。
我々のモデルは、Vgg19、Resnet34、Resnet50のような他の古典的畳み込みニューラルネットワークアプローチよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2020-11-13T16:04:39Z) - A Deep Learning Study on Osteosarcoma Detection from Histological Images [6.341765152919201]
最も一般的な悪性骨腫瘍は骨肉腫である。
CNNは、外科医の作業量を著しく減らし、患者の状態の予後を良くする。
CNNは、より信頼できるパフォーマンスを達成するために、大量のデータをトレーニングする必要があります。
論文 参考訳(メタデータ) (2020-11-02T18:16:17Z) - Multi-label Thoracic Disease Image Classification with Cross-Attention
Networks [65.37531731899837]
胸部X線画像から胸部疾患を自動分類するためのCAN(Cross-Attention Networks)を提案する。
また,クロスエントロピー損失を超える新たな損失関数を設計し,クラス間の不均衡を克服する。
論文 参考訳(メタデータ) (2020-07-21T14:37:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。