論文の概要: Exploring the Versatility of Zero-Shot CLIP for Interstitial Lung Disease Classification

• arxiv url: http://arxiv.org/abs/2306.01111v2
• Date: Tue, 12 Sep 2023 20:58:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-14 17:49:48.363900
• Title: Exploring the Versatility of Zero-Shot CLIP for Interstitial Lung Disease Classification
• Title（参考訳）: 間質性肺疾患分類におけるZero-Shot CLIPの有用性の検討
• Authors: Cara Van Uden and Christian Bluethgen and Maayane Attias and Malgorzata Polacin and Haiwei Henry Guo and Neha Simha and Rishi Raj and Curtis Langlotz
• Abstract要約: ILD分類のためのマルチモーダル(画像とテキスト)自己教師モデルであるCLIPを利用する機械学習手法を提案する。 ボリュームCTスキャンから画像パッチの最初の抽出から始まり,ワークフロー全体を通じてゼロショットCLIPを広範囲に統合する。 我々は、ラベル付きトレーニングデータを必要としない、0.893のAUROCを含む強力なゼロショットLD分類結果を得る。
• 参考スコア（独自算出の注目度）: 0.36646002427839136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interstitial lung diseases (ILD) present diagnostic challenges due to their varied manifestations and overlapping imaging features. To address this, we propose a machine learning approach that utilizes CLIP, a multimodal (image and text) self-supervised model, for ILD classification. We extensively integrate zero-shot CLIP throughout our workflow, starting from the initial extraction of image patches from volumetric CT scans and proceeding to ILD classification using "patch montages". Furthermore, we investigate how domain adaptive pretraining (DAPT) CLIP with task-specific images (CT "patch montages" extracted with ILD-specific prompts for CLIP) and/or text (lung-specific sections of radiology reports) affects downstream ILD classification performance. By leveraging CLIP-extracted "patch montages" and DAPT, we achieve strong zero-shot ILD classification results, including an AUROC of 0.893, without the need for any labeled training data. This work highlights the versatility and potential of multimodal models like CLIP for medical image classification tasks where labeled data is scarce.
• Abstract（参考訳）: 間質性肺疾患(ILD:interstitial lung disease, ILD)は, 診断上の課題である。 そこで本研究では,ILD分類のためのマルチモーダル(画像とテキスト)自己教師モデルであるCLIPを用いた機械学習手法を提案する。 ワークフロー全体を通じてゼロショットCLIPを広範囲に統合し、ボリュームCTスキャンから画像パッチを抽出し、"パッチモンタージュ"を用いてILD分類に進む。 さらに,タスク固有画像を用いたdapt(domain adaptive pretraining)クリップ(ct "patch montages" と/またはテキスト(放射線学レポートのlung-specific section of radiology reports)が下流icd分類性能に与える影響について検討した。 CLIP抽出した「パッチモンタージュ」とDAPTを利用して、ラベル付きトレーニングデータを必要としない0.893のAUROCを含む強力なゼロショットLD分類結果を得る。 この研究は、ラベル付きデータが不足している医療画像分類タスクのためのクリップのようなマルチモーダルモデルの汎用性と可能性を強調している。

関連論文リスト

• A Multimodal Approach For Endoscopic VCE Image Classification Using BiomedCLIP-PubMedBERT [0.62914438169038]
  本稿では,マルチモーダルモデルであるBiomedCLIP PubMedBERTの微細調整によるビデオカプセル内視鏡フレームの異常の分類について述べる。 本手法では, 血管拡張症, 出血, エロージョン, エリテマ, 異物, リンパ管拡張症, ポリープ, 潰瘍, ワーム, 正常の10種類の画像に分類する。 分類、精度、リコール、F1スコアなどのパフォーマンス指標は、内視鏡フレームの異常を正確に識別する強力な能力を示している。
  論文  参考訳（メタデータ） (2024-10-25T19:42:57Z)
• MMCL: Boosting Deformable DETR-Based Detectors with Multi-Class Min-Margin Contrastive Learning for Superior Prohibited Item Detection [8.23801404004195]
  X線画像における禁止項目検出は、最も効果的なセキュリティ検査方法の1つである。 X線画像における特異な現象が重なり合うと、前景と背景の特徴が結合する。 コンテンツクエリのカテゴリ意味情報を明らかにするために,Multi-class Min-Margin Contrastive Learning (MMCL)法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:58Z)
• PRISM: A Multi-Modal Generative Foundation Model for Slide-Level Histopathology [9.556246087301883]
  我々は,Virchhowタイルの埋め込みを基盤としたH&E染色組織学のスライドレベル基盤モデルPRISMを提案する。 PRISMは、臨床報告を生成する能力を持つスライドレベルの埋め込みを生成し、いくつかのモードで使用される。 テキストプロンプトを用いて、PRISMは教師付きアグリゲータモデルに近づいたゼロショットがん検出とサブタイピング性能を達成する。
  論文  参考訳（メタデータ） (2024-05-16T16:59:12Z)
• A Classification-Based Adaptive Segmentation Pipeline: Feasibility Study Using Polycystic Liver Disease and Metastases from Colorectal Cancer CT Images [0.261201916989931]
  本研究の目的は,効率的なセグメンテーションモデル構築のためのワークフロー構築の可能性を検討することである。 画像を自動的に分類し、適切なセグメンテーションモデルにルーティングするディープラーニングモデルを実装することで、ワークフローが画像に異なる病理を正確に分割できることを期待する。
  論文  参考訳（メタデータ） (2024-05-02T18:05:37Z)
• CLIP meets Model Zoo Experts: Pseudo-Supervision for Visual Enhancement [65.47237619200442]
  Contrastive Language Image Pretraining (CLIP)は、視覚言語モデルを訓練するための標準手法である。 モデル動物園からのタスク固有の視覚モデルを用いてCLIPトレーニングを強化し、視覚的表現を改善する。 この単純なセットアップは、異なるビジョンタスク間で最大16.3%の大幅な改善を示している。
  論文  参考訳（メタデータ） (2023-10-21T20:20:13Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Contrastive Centroid Supervision Alleviates Domain Shift in Medical Image Classification [9.709678461254972]
  Feature Centroid Contrast Learning (FCCL) は、トレーニング中に追加の監視を行うことで、対象領域の分類性能を向上させることができる。 我々は、FCCLが少なくとも3つの画像モダリティに対して優れた性能を達成できるという広範な実験を通して検証する。
  論文  参考訳（メタデータ） (2022-05-31T09:54:17Z)
• Improving Classification Model Performance on Chest X-Rays through Lung Segmentation [63.45024974079371]
  本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。 提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
  論文  参考訳（メタデータ） (2022-02-22T15:24:06Z)
• Colorectal Polyp Classification from White-light Colonoscopy Images via Domain Alignment [57.419727894848485]
  大腸内視鏡画像からの正確な診断を支援するためには,コンピュータ支援診断システムが必要である。 これまでのほとんどの研究では、Narrow-Band Imaging (NBI) や他の拡張画像を用いて、ポリプの分化モデルの開発を試みている。 正確な大腸ポリープ分類のための教師/学生アーキテクチャに基づく新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-05T09:31:46Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。