論文の概要: CLAPS: A CLIP-Unified Auto-Prompt Segmentation for Multi-Modal Retinal Imaging

• arxiv url: http://arxiv.org/abs/2509.08618v1
• Date: Wed, 10 Sep 2025 14:14:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.449864
• Title: CLAPS: A CLIP-Unified Auto-Prompt Segmentation for Multi-Modal Retinal Imaging
• Title（参考訳）: CLAPS : マルチモード網膜イメージングのためのCLIP統合オートプロンプトセグメンテーション
• Authors: Zhihao Zhao, Yinzheng Zhao, Junjie Yang, Xiangtong Yao, Quanmin Liang, Shahrooz Faghihroohi, Kai Huang, Nassir Navab, M. Ali Nasseri,
• Abstract要約: CLIP統合オートプロンプト(CLAPS)は,網膜イメージングにおける様々なタスクとモダリティをまたいだセグメンテーションを統一する新しい手法である。 私たちのアプローチは、CLIPベースの画像エンコーダを、大規模なマルチモーダル網膜データセット上で事前トレーニングすることから始まります。 タスクを統一し、曖昧さを解消するために、各画像のモダリティに固有の「モダリティシグネチャ」を付加したテキストプロンプトを使用する。
• 参考スコア（独自算出の注目度）: 47.04292769940597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in foundation models, such as the Segment Anything Model (SAM), have significantly impacted medical image segmentation, especially in retinal imaging, where precise segmentation is vital for diagnosis. Despite this progress, current methods face critical challenges: 1) modality ambiguity in textual disease descriptions, 2) a continued reliance on manual prompting for SAM-based workflows, and 3) a lack of a unified framework, with most methods being modality- and task-specific. To overcome these hurdles, we propose CLIP-unified Auto-Prompt Segmentation (\CLAPS), a novel method for unified segmentation across diverse tasks and modalities in retinal imaging. Our approach begins by pre-training a CLIP-based image encoder on a large, multi-modal retinal dataset to handle data scarcity and distribution imbalance. We then leverage GroundingDINO to automatically generate spatial bounding box prompts by detecting local lesions. To unify tasks and resolve ambiguity, we use text prompts enhanced with a unique "modality signature" for each imaging modality. Ultimately, these automated textual and spatial prompts guide SAM to execute precise segmentation, creating a fully automated and unified pipeline. Extensive experiments on 12 diverse datasets across 11 critical segmentation categories show that CLAPS achieves performance on par with specialized expert models while surpassing existing benchmarks across most metrics, demonstrating its broad generalizability as a foundation model.
• Abstract（参考訳）: SAM(Segment Anything Model)のような基礎モデルの最近の進歩は、特に正確なセグメンテーションが診断に不可欠である網膜画像において、医療画像セグメンテーションに大きな影響を与えている。 この進歩にもかかわらず、現在の手法は重要な課題に直面している。 1) 病状記述におけるモダリティの曖昧性 2)SAMベースのワークフローのマニュアルプロンプトへの継続的な依存 3) 統一されたフレームワークがなく、ほとんどのメソッドはモダリティとタスク固有です。 このようなハードルを克服するために,網膜イメージングにおける多様なタスクやモダリティにまたがるセグメンテーションの統一手法であるCLIP統一オートプロンプトセグメンテーション(\CLAPS)を提案する。 我々のアプローチは、CLIPベースの画像エンコーダを大規模なマルチモーダル網膜データセットに事前トレーニングすることで、データの不足と分散不均衡を処理することから始まります。 次に、FundingDINOを利用して局所的な病変を検出することで、空間境界ボックスプロンプトを自動的に生成する。 タスクを統一し、曖昧さを解消するために、各画像のモダリティに固有の「モダリティシグネチャ」を付加したテキストプロンプトを使用する。 最終的に、これらの自動化されたテキストと空間のプロンプトはSAMに正確なセグメンテーションの実行を誘導し、完全に自動化され統一されたパイプラインを作成する。 11のクリティカルセグメンテーションカテゴリにまたがる12の多様なデータセットに関する大規模な実験は、CLAPSが専門のエキスパートモデルと同等のパフォーマンスを達成し、ほとんどのメトリクスで既存のベンチマークを上回り、基礎モデルとしてのその広範な一般化性を実証していることを示している。

関連論文リスト

• Multimodal Causal-Driven Representation Learning for Generalizable Medical Image Segmentation [56.52520416420957]
  医用画像セグメンテーションにおける領域一般化に取り組むために, MCDRL(Multimodal Causal-Driven Representation Learning)を提案する。 MCDRLは競合する手法より一貫して優れ、セグメンテーション精度が優れ、堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-07T03:41:41Z)
• Domain and Task-Focused Example Selection for Data-Efficient Contrastive Medical Image Segmentation [0.2765106384328772]
  医用画像セグメンテーションのための自己教師型コントラスト学習フレームワークであるPolyCLを提案する。 PolyCLは、革新的なサロゲートからのセグメンテーションに有用なコンテキスト対応の識別機能を学習し、伝達する。 PolyCLは、低データとクロスドメインの両方のシナリオにおいて、完全な教師付きベースラインと自己教師付きベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2025-05-25T16:11:48Z)
• Enhancing SAM with Efficient Prompting and Preference Optimization for Semi-supervised Medical Image Segmentation [30.524999223901645]
  完全教師なし方式で生成されるアノテーション効率のよいプロンプトを利用するSAM(Segment Anything Model)フレームワークを提案する。 我々は、モデルが高忠実度セグメンテーションを生成できるように最適なポリシーを設計するために、直接選好最適化手法を採用する。 X線, 超音波, 腹部CTなど多彩な領域にわたる肺分節, 乳房腫瘍分節, 臓器分節などのタスクにおける我々のフレームワークの最先端性能は, 低アノテーションデータシナリオにおけるその有効性を正当化するものである。
  論文  参考訳（メタデータ） (2025-03-06T17:28:48Z)
• MedCLIP-SAMv2: Towards Universal Text-Driven Medical Image Segmentation [2.2585213273821716]
  MedCLIP-SAMv2はCLIPとSAMモデルを統合して臨床スキャンのセグメンテーションを行う新しいフレームワークである。 提案手法は,DHN-NCE(Decoupled Hard Negative Noise Contrastive Estimation)によるBiomedCLIPモデルの微調整を含む。 また,ゼロショットセグメンテーションラベルを弱教師付きパラダイム内で使用することにより,セグメンテーション品質をさらに向上する。
  論文  参考訳（メタデータ） (2024-09-28T23:10:37Z)
• CycleSAM: Few-Shot Surgical Scene Segmentation with Cycle- and Scene-Consistent Feature Matching [2.595014480295933]
  CycleSAMは、データ効率のトレーニングフェーズを採用し、一連のソフト制約を強制する、改善されたビジュアルプロンプト学習アプローチである。 CycleSAMは1ショットと5ショットの両方の設定で2～4倍の精度で既存の数ショットSAMアプローチより優れています。
  論文  参考訳（メタデータ） (2024-07-09T12:08:07Z)
• PosSAM: Panoptic Open-vocabulary Segment Anything [58.72494640363136]
  PosSAMはオープン・ボキャブラリ・パノプティ・セグメンテーション・モデルであり、Segment Anything Model(SAM)の強みを、エンドツーエンドのフレームワークで視覚ネイティブのCLIPモデルと統合する。 本稿では,マスクの質を適応的に向上し,各画像の推論中にオープン語彙分類の性能を高めるマスク対応選択組立アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-14T17:55:03Z)
• UN-SAM: Universal Prompt-Free Segmentation for Generalized Nuclei Images [47.59627416801523]
  デジタル病理学において、正確な核分割は、組織の種類、染色プロトコル、イメージング条件の多様性によって、重要な課題である。 我々はUniversal prompt-free SAM framework for Nuclei segmentation (UN-SAM)を提案する。 例外的な性能を持つUN-SAMは、核インスタンスやセマンティックセグメンテーションの最先端、特にゼロショットシナリオにおける一般化能力を上回っている。
  論文  参考訳（メタデータ） (2024-02-26T15:35:18Z)
• Self-Supervised Correction Learning for Semi-Supervised Biomedical Image Segmentation [84.58210297703714]
  半教師付きバイオメディカルイメージセグメンテーションのための自己教師付き補正学習パラダイムを提案する。 共有エンコーダと2つの独立デコーダを含むデュアルタスクネットワークを設計する。 異なるタスクのための3つの医用画像分割データセットの実験により,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2023-01-12T08:19:46Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。