論文の概要: CLIP-DR: Textual Knowledge-Guided Diabetic Retinopathy Grading with Ranking-aware Prompting
- arxiv url: http://arxiv.org/abs/2407.04068v1
- Date: Thu, 4 Jul 2024 17:14:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 17:14:12.609008
- Title: CLIP-DR: Textual Knowledge-Guided Diabetic Retinopathy Grading with Ranking-aware Prompting
- Title（参考訳）: CLIP-DR : クラッキング・アウェア・プロンプティングを応用したテキスト知識ガイド型糖尿病網膜症
- Authors: Qinkai Yu, Jianyang Xie, Anh Nguyen, He Zhao, Jiong Zhang, Huazhu Fu, Yitian Zhao, Yalin Zheng, Yanda Meng,
- Abstract要約: 糖尿病網膜症(英: Diabetic retinopathy, DR)は、糖尿病の合併症の一つで、視力低下のレベルに達するのに何十年もかかる。
現在のDRグレーディング手法のほとんどは、データのばらつきに不十分な堅牢性に悩まされている。
3つの観測結果に基づく新しいDRグレーティングフレームワークCLIP-DRを提案する。
- 参考スコア（独自算出の注目度）: 48.47935559597376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diabetic retinopathy (DR) is a complication of diabetes and usually takes decades to reach sight-threatening levels. Accurate and robust detection of DR severity is critical for the timely management and treatment of diabetes. However, most current DR grading methods suffer from insufficient robustness to data variability (\textit{e.g.} colour fundus images), posing a significant difficulty for accurate and robust grading. In this work, we propose a novel DR grading framework CLIP-DR based on three observations: 1) Recent pre-trained visual language models, such as CLIP, showcase a notable capacity for generalisation across various downstream tasks, serving as effective baseline models. 2) The grading of image-text pairs for DR often adheres to a discernible natural sequence, yet most existing DR grading methods have primarily overlooked this aspect. 3) A long-tailed distribution among DR severity levels complicates the grading process. This work proposes a novel ranking-aware prompting strategy to help the CLIP model exploit the ordinal information. Specifically, we sequentially design learnable prompts between neighbouring text-image pairs in two different ranking directions. Additionally, we introduce a Similarity Matrix Smooth module into the structure of CLIP to balance the class distribution. Finally, we perform extensive comparisons with several state-of-the-art methods on the GDRBench benchmark, demonstrating our CLIP-DR's robustness and superior performance. The implementation code is available \footnote{\url{https://github.com/Qinkaiyu/CLIP-DR}
- Abstract（参考訳）: 糖尿病網膜症(英: Diabetic retinopathy, DR)は、糖尿病の合併症の一つで、視力低下のレベルに達するのに何十年もかかる。
糖尿病の時間的管理と治療には、DR重症度を正確にかつ堅牢に検出することが重要である。
しかし、現在のDRグレーティング手法のほとんどは、データ可変性(\textit{e g } color fundus image)に不十分な頑健さに悩まされており、正確で堅牢なグレーディングには重大な困難が伴う。
本稿では,3つの観測結果に基づく新しいDRグレーティングフレームワークCLIP-DRを提案する。
1) 近年のCLIPのような事前学習型視覚言語モデルでは,様々な下流タスクにまたがる一般化能力を示し,効果的なベースラインモデルとして機能している。
2) DRのための画像テキストペアの階調は、しばしば識別可能な自然配列に固執するが、既存のDRグレーディング手法のほとんどは、この側面を主に見落としている。
3) DR重度レベルの長期分布は, 階調過程を複雑にする。
本研究は、CLIPモデルが順序情報を利用するのを支援するために、新しいランキングアウェア・プロンプト戦略を提案する。
具体的には、隣接するテキストイメージペア間の学習可能なプロンプトを、2つの異なるランク方向で逐次設計する。
さらに、クラス分布のバランスをとるために、CLIPの構造にSimisity Matrix Smoothモジュールを導入します。
最後に、GDRBenchベンチマークにおけるいくつかの最先端手法との比較を行い、CLIP-DRの堅牢性と優れた性能を実証した。
実装コードは \footnote{\url{https://github.com/Qinkaiyu/CLIP-DR} で利用可能である。
関連論文リスト
- PMT: Progressive Mean Teacher via Exploring Temporal Consistency for Semi-Supervised Medical Image Segmentation [51.509573838103854]
医用画像セグメンテーションのための半教師付き学習フレームワークであるプログレッシブ平均教師(PMT)を提案する。
我々のPMTは、トレーニングプロセスにおいて、堅牢で多様な特徴を学習することで、高忠実な擬似ラベルを生成する。
CT と MRI の異なる2つのデータセットに対する実験結果から,本手法が最先端の医用画像分割法より優れていることが示された。
論文 参考訳（メタデータ） (2024-09-08T15:02:25Z) - Generalizing to Unseen Domains in Diabetic Retinopathy Classification [8.59772105902647]
糖尿病網膜症分類における分布や領域の特定にモデルを一般化する問題について検討した。
本稿では、視覚変換器の自己蒸留を実現するための、シンプルで効果的な領域一般化(DG)手法を提案する。
本稿では,オープンソースのDR分類データセット上での最先端DG手法の性能について報告する。
論文 参考訳（メタデータ） (2023-10-26T09:11:55Z) - RIDE: Self-Supervised Learning of Rotation-Equivariant Keypoint
Detection and Invariant Description for Endoscopy [83.4885991036141]
RIDEは回転同変検出と不変記述のための学習に基づく手法である。
内視鏡画像の大規模なキュレーションを自己指導的に行う。
マッチングと相対的なポーズ推定タスクに対して、最先端のパフォーマンスを新たに設定する。
論文 参考訳（メタデータ） (2023-09-18T08:16:30Z) - How to Train Your DRAGON: Diverse Augmentation Towards Generalizable
Dense Retrieval [80.54532535622988]
教師付き検索とゼロショット検索の両方において高い精度を達成するために、一般化可能な高密度検索を訓練できることが示される。
多様な拡張で訓練された高密度レトリバーであるDRAGONは、教師付きおよびゼロショット評価の両方において最先端の有効性を実現する最初のBERTベースサイズのDRである。
論文 参考訳（メタデータ） (2023-02-15T03:53:26Z) - Segmentation, Classification, and Quality Assessment of UW-OCTA Images
for the Diagnosis of Diabetic Retinopathy [2.435307010444828]
糖尿病網膜症(英: Diabetic Retinopathy, DR)は、糖尿病の重症合併症の一つ。
本稿では,糖尿病網膜症解析チャレンジ2022(DRAC22)の3つの課題に対する解決策を提示する。
得られた結果は有望であり、セグメンテーションタスクのTOP5に位置づけることを可能にしました。
論文 参考訳（メタデータ） (2022-11-21T14:49:18Z) - Learning Discriminative Representations for Fine-Grained Diabetic
Retinopathy Grading [6.129288755571804]
糖尿病網膜症は視覚障害の主要な原因の1つである。
病気の重症度を判定するには、眼科医は眼底画像の識別部分に焦点を当てる必要がある。
論文 参考訳（メタデータ） (2020-11-04T04:16:55Z) - Sea-Net: Squeeze-And-Excitation Attention Net For Diabetic Retinopathy
Grading [9.181677987146418]
糖尿病は個人で最も一般的な病気の1つである。
糖尿病網膜症 (DR) は糖尿病の合併症であり、失明を引き起こす可能性がある。
網膜画像に基づくDRグレーディングは、治療計画のための診断と予後に優れた価値を提供する。
論文 参考訳（メタデータ） (2020-10-29T03:48:01Z) - A Benchmark for Studying Diabetic Retinopathy: Segmentation, Grading,
and Transferability [76.64661091980531]
糖尿病患者は糖尿病網膜症(DR)を発症するリスクがある
コンピュータ支援型DR診断は、DRの早期検出と重度評価のための有望なツールである。
このデータセットは、ピクセルレベルのDR関連病変アノテーションを持つ1,842枚の画像と、6人の眼科医によって評価された画像レベルのラベルを持つ1,000枚の画像を有する。
論文 参考訳（メタデータ） (2020-08-22T07:48:04Z) - Robust Collaborative Learning of Patch-level and Image-level Annotations
for Diabetic Retinopathy Grading from Fundus Image [33.904136933213735]
DR重度評価のための,パッチレベルのアノテーションとイメージレベルのアノテーションを協調的に利用する,堅牢なフレームワークを提案する。
エンドツーエンドの最適化により、このフレームワークは微細な病変と画像レベルのグレード情報を双方向に交換することができる。
提案手法は,9年以上の経験を持つ最近の最先端のアルゴリズムと3人の臨床眼科医に比較して,優れた性能を示す。
論文 参考訳（メタデータ） (2020-08-03T02:17:42Z) - Deep Q-Network-Driven Catheter Segmentation in 3D US by Hybrid
Constrained Semi-Supervised Learning and Dual-UNet [74.22397862400177]
本稿では,教師付き学習手法よりも少ないアノテーションを要求できる新しいカテーテルセグメンテーション手法を提案する。
提案手法では,Voxelレベルのアノテーションを避けるために,深層Q学習を事前局所化ステップとみなす。
検出されたカテーテルでは、パッチベースのDual-UNetを使用してカテーテルを3Dボリュームデータに分割する。
論文 参考訳（メタデータ） (2020-06-25T21:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。