論文の概要: Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders

• arxiv url: http://arxiv.org/abs/2212.07050v1
• Date: Wed, 14 Dec 2022 06:04:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:44:50.951003
• Title: Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders
• Title（参考訳）: 微調整事前学習画像テキストエンコーダによるゼロショットX線病理分類の改善
• Authors: Jongseong Jang, Daeun Kyung, Seung Hwan Kim, Honglak Lee, Kyunghoon Bae, Edward Choi
• Abstract要約: 下流のゼロショット病理分類性能を改善するために,文サンプリングと正対損失緩和に基づく新たな微調整手法を提案する。 4種類の胸部X線データセットを用いてゼロショット病理分類性能を劇的に改善した。
• 参考スコア（独自算出の注目度）: 51.14431540035141
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural networks have been successfully adopted to diverse domains including pathology classification based on medical images. However, large-scale and high-quality data to train powerful neural networks are rare in the medical domain as the labeling must be done by qualified experts. Researchers recently tackled this problem with some success by taking advantage of models pre-trained on large-scale general domain data. Specifically, researchers took contrastive image-text encoders (e.g., CLIP) and fine-tuned it with chest X-ray images and paired reports to perform zero-shot pathology classification, thus completely removing the need for pathology-annotated images to train a classification model. Existing studies, however, fine-tuned the pre-trained model with the same contrastive learning objective, and failed to exploit the multi-labeled nature of medical image-report pairs. In this paper, we propose a new fine-tuning strategy based on sentence sampling and positive-pair loss relaxation for improving the downstream zero-shot pathology classification performance, which can be applied to any pre-trained contrastive image-text encoders. Our method consistently showed dramatically improved zero-shot pathology classification performance on four different chest X-ray datasets and 3 different pre-trained models (5.77% average AUROC increase). In particular, fine-tuning CLIP with our method showed much comparable or marginally outperformed to board-certified radiologists (0.619 vs 0.625 in F1 score and 0.530 vs 0.544 in MCC) in zero-shot classification of five prominent diseases from the CheXpert dataset.
• Abstract（参考訳）: 深層ニューラルネットワークは医療画像に基づく病理分類を含む多様な領域でうまく採用されている。 しかしながら、強力なニューラルネットワークをトレーニングする大規模かつ高品質なデータは、認定専門家がラベル付けを行う必要があるため、医療領域ではまれである。 研究者は最近、大規模な汎用ドメインデータで事前訓練されたモデルを活用することで、この問題にいくつかの成功を収めた。 具体的には、コントラストのある画像テキストエンコーダ(例えばCLIP)を胸部X線画像で微調整し、ゼロショットの病理分類を行うためにレポートをペアにした。 しかし、既存の研究では、同じ対照的な学習目標で訓練済みモデルを微調整し、医用画像-レポートペアのマルチラベルの性質を活用できなかった。 本稿では, 文章サンプリングと正のペア損失緩和に基づく新しい微調整戦略を提案し, 学習済みコントラスト画像テキストエンコーダに適用可能な下流ゼロショット病理分類性能を向上させる。 4種類の胸部X線データセットと3種類の事前訓練モデル(平均AUROC増加率5.77%)でゼロショット病理分類性能を継続的に改善した。 特に細調整CLIPは,CheXpertデータセットから5つの顕著な疾患のゼロショット分類において,0.619 vs 0.625 in F1 score, 0.530 vs 0.544 in MCC)に比較して非常に優れていた。

関連論文リスト

• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• RadTex: Learning Efficient Radiograph Representations from Text Reports [7.090896766922791]
  我々は,放射線学報告を利用して,限られたラベル付きデータを用いた医用画像分類性能を向上させるための,データ効率のよい学習フレームワークを構築した。 本モデルは,ラベル付きトレーニングデータに制限がある場合,ImageNetによる事前学習よりも高い分類性能を実現する。
  論文  参考訳（メタデータ） (2022-08-05T15:06:26Z)
• Application of Transfer Learning and Ensemble Learning in Image-level Classification for Breast Histopathology [9.037868656840736]
  CAD(Computer-Aided Diagnosis)では、従来の分類モデルでは、主に1つのネットワークを使って特徴を抽出する。 本稿では良性病変と悪性病変のバイナリ分類のための画像レベルラベルに基づく深層アンサンブルモデルを提案する。 結果: アンサンブルネットワークモデルにおいて、画像レベルのバイナリ分類は9,8.90%の精度を達成する。
  論文  参考訳（メタデータ） (2022-04-18T13:31:53Z)
• A Deep Learning Technique using a Sequence of Follow Up X-Rays for Disease classification [3.3345134768053635]
  深層学習技術を用いて肺と心臓の疾患を予測する能力は多くの研究者の中心である。 最新の胸部X線像3例の追跡歴を含む患者のX線像は, 疾患分類において良好な成績を示すと推定された。
  論文  参考訳（メタデータ） (2022-03-28T19:58:47Z)
• Incremental Cross-Domain Adaptation for Robust Retinopathy Screening via Bayesian Deep Learning [7.535751594024775]
  網膜症は、タイムリーに治療されないと、深刻な視覚障害や失明を引き起こす網膜疾患のグループである。 本稿では, 深い分類モデルを用いて, 異常網膜病理を段階的に学習することのできる, 漸進的なクロスドメイン適応手法を提案する。 提案したフレームワークは、6つの公開データセットで評価され、全体的な精度とF1スコアをそれぞれ0.9826と0.9846で達成することで、最先端の競合他社を上回っている。
  論文  参考訳（メタデータ） (2021-10-18T13:45:21Z)
• Malignancy Prediction and Lesion Identification from Clinical Dermatological Images [65.1629311281062]
  臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。 まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
  論文  参考訳（メタデータ） (2021-04-02T20:52:05Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• Multi-label Thoracic Disease Image Classification with Cross-Attention Networks [65.37531731899837]
  胸部X線画像から胸部疾患を自動分類するためのCAN(Cross-Attention Networks)を提案する。 また,クロスエントロピー損失を超える新たな損失関数を設計し,クラス間の不均衡を克服する。
  論文  参考訳（メタデータ） (2020-07-21T14:37:00Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。