論文の概要: Endo-CLIP: Progressive Self-Supervised Pre-training on Raw Colonoscopy Records
- arxiv url: http://arxiv.org/abs/2505.09435v1
- Date: Wed, 14 May 2025 14:43:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-15 21:44:09.499558
- Title: Endo-CLIP: Progressive Self-Supervised Pre-training on Raw Colonoscopy Records
- Title(参考訳): Endo-CLIP:進行性自己監督型プレトレーニング : 大腸内視鏡検査による検討
- Authors: Yili He, Yan Zhu, Peiyao Fu, Ruijie Yang, Tianyi Chen, Zhihua Wang, Quanlin Li, Pinghong Zhou, Xian Yang, Shuo Wang,
- Abstract要約: 画像テキスト大腸内視鏡記録の事前トレーニングは、内視鏡画像解析を改善する大きな可能性を秘めている。
本稿では,この領域に対するコントラスト言語-画像事前学習(CLIP)を強化する,新たな自己教師型フレームワークであるEndo-CLIPを紹介する。
実験では、Endo-CLIPはゼロショットおよび少数ショットのポリープ検出と分類において最先端の事前訓練方法よりも著しく優れている。
- 参考スコア(独自算出の注目度): 25.683273197557934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-training on image-text colonoscopy records offers substantial potential for improving endoscopic image analysis, but faces challenges including non-informative background images, complex medical terminology, and ambiguous multi-lesion descriptions. We introduce Endo-CLIP, a novel self-supervised framework that enhances Contrastive Language-Image Pre-training (CLIP) for this domain. Endo-CLIP's three-stage framework--cleansing, attunement, and unification--addresses these challenges by (1) removing background frames, (2) leveraging large language models to extract clinical attributes for fine-grained contrastive learning, and (3) employing patient-level cross-attention to resolve multi-polyp ambiguities. Extensive experiments demonstrate that Endo-CLIP significantly outperforms state-of-the-art pre-training methods in zero-shot and few-shot polyp detection and classification, paving the way for more accurate and clinically relevant endoscopic analysis.
- Abstract(参考訳): 画像テキスト大腸内視鏡記録の事前トレーニングは、内視鏡的画像解析を改善する大きな可能性を秘めているが、非情報的背景画像、複雑な医療用語、曖昧な多要素記述などの課題に直面している。
本稿では,この領域に対するコントラスト言語-画像事前学習(CLIP)を強化する,新たな自己教師型フレームワークであるEndo-CLIPを紹介する。
Endo-CLIPの3段階の枠組みは,(1)背景フレームの除去,(2)大規模言語モデルによる臨床属性の抽出,(3)患者レベルのクロスアテンションを用いて多目的の曖昧さを解決することによって,これらの課題に対処する。
広汎な実験により、Endo-CLIPはゼロショットおよび少数ショットポリープ検出および分類において最先端の事前訓練法を著しく上回り、より正確で臨床的に関係のある内視鏡解析の道を開いた。
関連論文リスト
- MAKE: Multi-Aspect Knowledge-Enhanced Vision-Language Pretraining for Zero-shot Dermatological Assessment [12.665019147690975]
MAKEはゼロショット皮膚科学タスクのための視覚言語事前学習フレームワークである。
臨床物語を知識に富んだサブテキストに分解する。
臨床上の意義に基づいて、異なるサブカプセルを優先順位付けする。
論文 参考訳(メタデータ) (2025-05-14T13:24:08Z) - OCL: Ordinal Contrastive Learning for Imputating Features with Progressive Labels [4.434835769977399]
本稿では,全被写体を維持しつつ,多様な画像特徴を活用できる全体像特徴量計算手法を提案する。
提案手法は,共有埋め込み空間における様々なモーダルの全体像特徴計算を促進する。
実験の結果,本ネットワークは統計解析や計算基準に対する分類に好適な結果をもたらすことがわかった。
論文 参考訳(メタデータ) (2025-03-03T07:23:29Z) - Robust Polyp Detection and Diagnosis through Compositional Prompt-Guided Diffusion Models [32.17651741681871]
合成ポリプ画像を生成するためのプログレッシブスペクトル拡散モデル(PSDM)を提案する。
PSDMは、セグメンテーションマスク、バウンディングボックス、大腸内視鏡検査などの様々な臨床アノテーションを統合し、それらを合成プロンプトに変換する。
トレーニングデータをPSDM生成サンプルで強化することにより,ポリプの検出,分類,セグメンテーションを大幅に改善する。
論文 参考訳(メタデータ) (2025-02-25T08:22:45Z) - Enhancing Skin Disease Diagnosis: Interpretable Visual Concept Discovery with SAM [41.398287899966995]
現在のAIによる皮膚画像診断は、皮膚がんの分類において皮膚科レベルのパフォーマンスを達成している。
皮膚病変診断のための新しいクロス・アテテーティブ・フュージョン・フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-14T20:11:25Z) - CLIP in Medical Imaging: A Survey [59.429714742927956]
コントラスト言語-画像事前学習は、視覚モデルにテキスト管理を導入することに成功している。
CLIPの使用は最近、医療画像領域への関心が高まっている。
論文 参考訳(メタデータ) (2023-12-12T15:21:57Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-07-31T17:59:42Z) - Rethinking Semi-Supervised Medical Image Segmentation: A
Variance-Reduction Perspective [51.70661197256033]
医用画像セグメンテーションのための階層化グループ理論を用いた半教師付きコントラスト学習フレームワークARCOを提案する。
まず、分散還元推定の概念を用いてARCOを構築することを提案し、特定の分散還元技術が画素/ボクセルレベルのセグメンテーションタスクにおいて特に有用であることを示す。
5つの2D/3D医療データセットと3つのセマンティックセグメンテーションデータセットのラベル設定が異なる8つのベンチマークで、我々のアプローチを実験的に検証する。
論文 参考訳(メタデータ) (2023-02-03T13:50:25Z) - Colorectal Polyp Classification from White-light Colonoscopy Images via
Domain Alignment [57.419727894848485]
大腸内視鏡画像からの正確な診断を支援するためには,コンピュータ支援診断システムが必要である。
これまでのほとんどの研究では、Narrow-Band Imaging (NBI) や他の拡張画像を用いて、ポリプの分化モデルの開発を試みている。
正確な大腸ポリープ分類のための教師/学生アーキテクチャに基づく新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-08-05T09:31:46Z) - Malignancy Prediction and Lesion Identification from Clinical
Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。
まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文 参考訳(メタデータ) (2021-04-02T20:52:05Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳(メタデータ) (2020-10-09T14:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。