Fugu-MT 論文翻訳(概要): Benchmarking PathCLIP for Pathology Image Analysis

論文の概要: Benchmarking PathCLIP for Pathology Image Analysis

arxiv url: http://arxiv.org/abs/2401.02651v3
Date: Wed, 12 Jun 2024 07:22:24 GMT
ステータス: 処理完了
システム内更新日: 2024-06-13 11:28:49.062162
Title: Benchmarking PathCLIP for Pathology Image Analysis
Title（参考訳）: 病理画像解析のためのベンチマークパスCLIP
Authors: Sunyi Zheng, Xiaonan Cui, Yuxuan Sun, Jingxiong Li, Honglin Li, Yunlong Zhang, Pingyi Chen, Xueping Jing, Zhaoxiang Ye, Lin Yang,
Abstract要約: 明るさ,コントラスト,ガウスのぼかし,解像度,彩度,色調,マークアップの7種類の汚職を4つの重度レベルで導入する。 PathCLIPは画像の破損に対して比較的堅牢であり,ゼロショット分類ではOpenAI-CLIPとPLIPを上回っている。
参考スコア（独自算出の注目度）: 10.996613473817236
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Accurate image classification and retrieval are of importance for clinical diagnosis and treatment decision-making. The recent contrastive language-image pretraining (CLIP) model has shown remarkable proficiency in understanding natural images. Drawing inspiration from CLIP, PathCLIP is specifically designed for pathology image analysis, utilizing over 200,000 image and text pairs in training. While the performance the PathCLIP is impressive, its robustness under a wide range of image corruptions remains unknown. Therefore, we conduct an extensive evaluation to analyze the performance of PathCLIP on various corrupted images from the datasets of Osteosarcoma and WSSS4LUAD. In our experiments, we introduce seven corruption types including brightness, contrast, Gaussian blur, resolution, saturation, hue, and markup at four severity levels. Through experiments, we find that PathCLIP is relatively robustness to image corruptions and surpasses OpenAI-CLIP and PLIP in zero-shot classification. Among the seven corruptions, blur and resolution can cause server performance degradation of the PathCLIP. This indicates that ensuring the quality of images is crucial before conducting a clinical test. Additionally, we assess the robustness of PathCLIP in the task of image-image retrieval, revealing that PathCLIP performs less effectively than PLIP on Osteosarcoma but performs better on WSSS4LUAD under diverse corruptions. Overall, PathCLIP presents impressive zero-shot classification and retrieval performance for pathology images, but appropriate care needs to be taken when using it. We hope this study provides a qualitative impression of PathCLIP and helps understand its differences from other CLIP models.
Abstract（参考訳）: 正確な画像分類と検索は、臨床診断と治療決定にとって重要である。最近のコントラスト言語画像事前学習(CLIP)モデルは、自然画像の理解に顕著な習熟性を示している。 CLIPからインスピレーションを得たPathCLIPは、20万以上の画像とテキストペアをトレーニングに利用して、病理画像解析用に特別に設計されている。 PathCLIPのパフォーマンスは印象的だが、その頑丈さは幅広い画像の破損の下では未だに不明である。そこで我々は,骨肉腫とWSSS4LUADのデータセットから,多彩な画像に対するPathCLIPの性能評価を行った。実験では, 明るさ, コントラスト, ガウスのぼかし, 解像度, 彩度, 色調, マークアップの7種類の汚職を4つの重度レベルで導入した。実験の結果,PathCLIPは画像の破損に対して比較的堅牢であり,ゼロショット分類ではOpenAI-CLIPとPLIPを上回っていることがわかった。 7つの汚職のうち、ぼかしと解像度がPathCLIPのサーバパフォーマンスを劣化させる可能性がある。これは、臨床検査を行う前に画像の品質を確保することが重要であることを示している。また,画像画像検索作業におけるPathCLIPのロバスト性を評価し,骨肉腫に対するPLIPよりもPathCLIPの有効性は低いが,WSSS4LUADは多彩な腐敗下では良好であることを明らかにした。全体として、PathCLIPは、画像に対して印象的なゼロショット分類と検索性能を示すが、それを使用するには適切な注意が必要である。この研究がPathCLIPの質的な印象を与え、他のCLIPモデルとの違いを理解するのに役立ちたい。

関連論文リスト

Unveiling Glitches: A Deep Dive into Image Encoding Bugs within CLIP [0.0]
私たちは、視覚と言語処理の統合で有名なCLIP(CLIP)に焦点を当てています。私たちの目的は、CLIPの画像理解における繰り返し発生する問題と盲点を明らかにすることである。画像に対するCLIPの解釈と人間の知覚との相違について明らかにした。
論文参考訳（メタデータ） (2024-06-30T05:23:11Z)
RET-CLIP: A Retinal Image Foundation Model Pre-trained with Clinical Diagnostic Reports [19.915033191502328]
Vision-Language Foundationモデルは、コンピュータビジョンと自然言語処理の分野でますます研究されている。この問題に対処するために,CLIP型網膜画像基盤モデルを開発した。我々の基礎モデルであるRET-CLIPは、カラーファンドスの一般的な特徴を抽出するために、193,865人の患者のデータセットで特別に訓練されている。
論文参考訳（メタデータ） (2024-05-23T03:20:51Z)
CLIP in Medical Imaging: A Comprehensive Survey [59.429714742927956]
コントラスト言語-画像事前学習は、視覚モデルにテキスト管理を導入することに成功している。様々なタスクにおいて有望な結果を示しており、その一般化可能性と解釈可能性に起因している。 CLIPの使用は、最近医療画像領域への関心が高まっている。
論文参考訳（メタデータ） (2023-12-12T15:21:57Z)
Understanding the Vulnerability of CLIP to Image Compression [26.536819387473482]
CLIPは圧縮条件下での画像品質の変化に対して脆弱であることを示す。我々はCIFAR-10とSTL-10でこの脆弱性を広範囲に評価した。
論文参考訳（メタデータ） (2023-11-23T14:33:53Z)
An Empirical Study of CLIP for Text-based Person Search [51.94743973155648]
テキストベースPerson Search (TBPS) は、自然言語による人物画像の検索を目的としている。 Contrastive Language Image Pretraining (CLIP)は、多種多様なモダル下流タスクにおいて、多種多様なモダル横断視覚言語事前訓練モデルである。本稿では,TBPSタスクに対するCLIPの総合的研究を初めて行おうとする。
論文参考訳（メタデータ） (2023-08-19T15:08:10Z)
Exploring the Versatility of Zero-Shot CLIP for Interstitial Lung Disease Classification [0.36646002427839136]
ILD分類のためのマルチモーダル(画像とテキスト)自己教師モデルであるCLIPを利用する機械学習手法を提案する。ボリュームCTスキャンから画像パッチの最初の抽出から始まり,ワークフロー全体を通じてゼロショットCLIPを広範囲に統合する。我々は、ラベル付きトレーニングデータを必要としない、0.893のAUROCを含む強力なゼロショットLD分類結果を得る。
論文参考訳（メタデータ） (2023-06-01T19:52:33Z)
Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文参考訳（メタデータ） (2022-10-17T17:57:46Z)
Exploring CLIP for Assessing the Look and Feel of Images [87.97623543523858]
ゼロショット方式で画像の品質知覚(ルック)と抽象知覚(フィール)の両方を評価するために,コントラスト言語-画像事前学習(CLIP)モデルを導入する。以上の結果から,CLIPは知覚的評価によく適合する有意義な先行情報を捉えることが示唆された。
論文参考訳（メタデータ） (2022-07-25T17:58:16Z)
Lesion-Aware Contrastive Representation Learning for Histopathology Whole Slide Images Analysis [16.264758789726223]
本稿では,スライド画像解析の病理組織学的手法として,Lesion-Aware Contrastive Learning (LACL) という新しいコントラスト表現学習フレームワークを提案する。実験の結果,LACLは異なるデータセット上での組織像表現学習において,最高の性能を発揮することが示された。
論文参考訳（メタデータ） (2022-06-27T08:39:51Z)
Colorectal Polyp Classification from White-light Colonoscopy Images via Domain Alignment [57.419727894848485]
大腸内視鏡画像からの正確な診断を支援するためには,コンピュータ支援診断システムが必要である。これまでのほとんどの研究では、Narrow-Band Imaging (NBI) や他の拡張画像を用いて、ポリプの分化モデルの開発を試みている。正確な大腸ポリープ分類のための教師/学生アーキテクチャに基づく新しい枠組みを提案する。
論文参考訳（メタデータ） (2021-08-05T09:31:46Z)
Modeling and Enhancing Low-quality Retinal Fundus Images [167.02325845822276]
低画質の眼底画像は臨床観察における不確実性を高め、誤診のリスクを引き起こす。本稿では,グローバルな劣化要因を抑えるために,臨床指向の基盤拡張ネットワーク(cofe-Net)を提案する。合成画像と実画像の両方の実験により、我々のアルゴリズムは網膜の細部を失うことなく、低品質の眼底画像を効果的に補正することを示した。
論文参考訳（メタデータ） (2020-05-12T08:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。