論文の概要: Exploring the Transfer Learning Capabilities of CLIP in Domain Generalization for Diabetic Retinopathy

• arxiv url: http://arxiv.org/abs/2308.14212v1
• Date: Sun, 27 Aug 2023 22:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 16:17:00.304826
• Title: Exploring the Transfer Learning Capabilities of CLIP in Domain Generalization for Diabetic Retinopathy
• Title（参考訳）: 糖尿病網膜症における領域一般化におけるCLIPの伝達学習能力の検討
• Authors: Sanoojan Baliah, Fadillah A. Maani, Santosh Sanjeev and Muhammad Haris Khan
• Abstract要約: クロスドメインの一般化は医療分野において難しい問題である。 近年の研究では,自然画像におけるDG問題に対するCLIPの有効性が示されている。 本研究では,糖尿病網膜症(DR)分類におけるCLIPの伝達学習能力とそのドメイン間一般化の可能性について検討した。
• 参考スコア（独自算出の注目度）: 7.649900082537232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diabetic Retinopathy (DR), a leading cause of vision impairment, requires early detection and treatment. Developing robust AI models for DR classification holds substantial potential, but a key challenge is ensuring their generalization in unfamiliar domains with varying data distributions. To address this, our paper investigates cross-domain generalization, also known as domain generalization (DG), within the context of DR classification. DG, a challenging problem in the medical domain, is complicated by the difficulty of gathering labeled data across different domains, such as patient demographics and disease stages. Some recent studies have shown the effectiveness of using CLIP to handle the DG problem in natural images. In this study, we investigate CLIP's transfer learning capabilities and its potential for cross-domain generalization in diabetic retinopathy (DR) classification. We carry out comprehensive experiments to assess the efficacy and potential of CLIP in addressing DG for DR classification. Further, we introduce a multi-modal fine-tuning strategy named Context Optimization with Learnable Visual Tokens (CoOpLVT), which enhances context optimization by conditioning on visual features. Our findings demonstrate that the proposed method increases the F1-score by 1.8% over the baseline, thus underlining its promise for effective DG in DR classification. Our code is publicly available at https://github.com/Sanoojan/CLIP-DRDG.
• Abstract（参考訳）: 視覚障害の主な原因である糖尿病網膜症(dr)は早期発見と治療を必要とする。 dr分類のためのロバストなaiモデルの開発は、かなりの可能性を持っているが、データ分布の異なる未知の領域におけるそれらの一般化を保証することが重要な課題である。 そこで本研究では,DR分類の文脈において,ドメイン一般化(Domain Generalization, DG)と呼ばれるクロスドメインの一般化について検討する。 医学領域における課題であるDGは、患者の人口統計や病期など、さまざまな領域でラベル付きデータを収集することの難しさによって複雑である。 最近の研究では、自然画像におけるDG問題にCLIPを用いることの有効性が示されている。 本研究では,糖尿病網膜症(DR)分類におけるCLIPの伝達学習能力とそのドメイン間一般化の可能性について検討した。 DR分類におけるDGに対するCLIPの有効性と可能性を評価するための総合的な実験を行った。 さらに,視覚的特徴の条件付けによるコンテキスト最適化を強化する,コンテキスト最適化と学習可能な視覚トークン(CoOpLVT)と呼ばれるマルチモーダル微調整戦略を導入する。 その結果,本手法はベースラインよりもF1スコアを1.8%向上させ,DR分類におけるDGの有効性を明らかにした。 私たちのコードはhttps://github.com/Sanoojan/CLIP-DRDGで公開されています。

関連論文リスト

• Divergent Domains, Convergent Grading: Enhancing Generalization in Diabetic Retinopathy Grading [8.59772105902647]
  糖尿病網膜症(DR)は世界の視覚障害の5%を占める。 DRグレーディングにおけるドメイン一般化(DG)を実現するための新しいディープラーニング手法を提案する。 本手法は,経験的リスク最小化ベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2024-11-04T21:09:24Z)
• Disentangling Masked Autoencoders for Unsupervised Domain Generalization [57.56744870106124]
  教師なしの領域一般化は急速に注目されているが、まだ十分に研究されていない。 Disentangled Masked Auto (DisMAE) は、本質的な特徴を忠実に示す不整合表現を発見することを目的としている。 DisMAEは、セマンティックで軽量な変分エンコーダを備えた非対称なデュアルブランチアーキテクチャを共同で訓練する。
  論文  参考訳（メタデータ） (2024-07-10T11:11:36Z)
• Generalizing to Unseen Domains in Diabetic Retinopathy Classification [8.59772105902647]
  糖尿病網膜症分類における分布や領域の特定にモデルを一般化する問題について検討した。 本稿では、視覚変換器の自己蒸留を実現するための、シンプルで効果的な領域一般化(DG)手法を提案する。 本稿では,オープンソースのDR分類データセット上での最先端DG手法の性能について報告する。
  論文  参考訳（メタデータ） (2023-10-26T09:11:55Z)
• Generalizing Across Domains in Diabetic Retinopathy via Variational Autoencoders [0.0]
  糖尿病網膜症分類のための領域一般化は、モデルが網膜画像の適切な分類を可能にする。 本研究では, 変分オートエンコーダの固有容量を考察し, 基礎画像の潜伏空間を乱す方法について検討した。
  論文  参考訳（メタデータ） (2023-09-20T13:29:22Z)
• DGM-DR: Domain Generalization with Mutual Information Regularized Diabetic Retinopathy Classification [40.35834579068518]
  トレーニングとテストデータのドメインシフトは、一般的なディープラーニングモデルをトレーニングする上で大きな課題となる。 医用画像領域に事前訓練されたモデルとしてモデル目的関数を再確立するDG法を提案する。 提案手法は,従来の最先端技術よりも平均精度5.25%,標準偏差が低い。
  論文  参考訳（メタデータ） (2023-09-18T11:17:13Z)
• Towards Generalizable Diabetic Retinopathy Grading in Unseen Domains [6.147573427718534]
  我々は、GDRNet(Generalizable Diabetic Retinopathy Grading Network)という新しい統合フレームワークを提案する。 GDRNetは、Fundus visual-artifact augmentation (FundusAug), dynamic hybrid-supervised loss (DahLoss), domain-class-aware re-balancing (DCR)の3つの重要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2023-07-10T07:24:44Z)
• Cross-Site Severity Assessment of COVID-19 from CT Images via Domain Adaptation [64.59521853145368]
  CT画像によるコロナウイルス病2019(COVID-19)の早期かつ正確な重症度評価は,集中治療単位のイベント推定に有効である。 ラベル付きデータを拡張し、分類モデルの一般化能力を向上させるためには、複数のサイトからデータを集約する必要がある。 この課題は、軽度の感染症と重度の感染症の集団不均衡、部位間のドメイン分布の相違、不均一な特徴の存在など、いくつかの課題に直面する。
  論文  参考訳（メタデータ） (2021-09-08T07:56:51Z)
• Self-Supervised Domain Adaptation for Diabetic Retinopathy Grading using Vessel Image Reconstruction [61.58601145792065]
  我々は網膜血管画像再構成に基づく新しい自己教師型タスクを定義することで、不変なターゲットドメインの特徴を学習する。 私たちのアプローチは既存のドメイン戦略よりも優れています。
  論文  参考訳（メタデータ） (2021-07-20T09:44:07Z)
• Unsupervised Domain Adaptation for Dysarthric Speech Detection via Domain Adversarial Training and Mutual Information Minimization [52.82138296332476]
  本稿では,非教師付き領域適応問題として,クロスドメイン・ディザスリック音声検出(DSD)を定式化するための最初の試みを行う。 DPC, DAT, 相互情報最小化(MIM)を含むマルチタスク学習戦略を提案する。 実験の結果, 発話レベルの重み付き平均リコールと話者レベルの精度では, それぞれ22.2%, 20.0%の絶対的な増加が得られた。
  論文  参考訳（メタデータ） (2021-06-18T13:34:36Z)
• Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation [61.01704175938995]
  本論文では,UDAスキームに基づくBiGL(Bidirectional Global-to-Local)適応フレームワークを提案する。 具体的には、脳腫瘍をセグメント化するために、双方向画像合成およびセグメンテーションモジュールを提案する。 提案手法は, 最先端の非教師なし領域適応法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-05-17T10:11:45Z)
• Collaborative Unsupervised Domain Adaptation for Medical Image Diagnosis [102.40869566439514]
  我々は、Unsupervised Domain Adaptation (UDA)を通じて、対象タスクにおける学習を支援するために、関連ドメインからの豊富なラベル付きデータを活用しようとしている。 クリーンなラベル付きデータやサンプルを仮定するほとんどのUDAメソッドが等しく転送可能であるのとは異なり、協調的教師なしドメイン適応アルゴリズムを革新的に提案する。 提案手法の一般化性能を理論的に解析し,医用画像と一般画像の両方で実験的に評価する。
  論文  参考訳（メタデータ） (2020-07-05T11:49:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。