論文の概要: CLIP in Medical Imaging: A Survey

• arxiv url: http://arxiv.org/abs/2312.07353v6
• Date: Wed, 26 Mar 2025 13:32:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 16:24:44.684612
• Title: CLIP in Medical Imaging: A Survey
• Title（参考訳）: 医用画像におけるCLIPの検討
• Authors: Zihao Zhao, Yuxiao Liu, Han Wu, Mei Wang, Yonghao Li, Sheng Wang, Lin Teng, Disheng Liu, Zhiming Cui, Qian Wang, Dinggang Shen,
• Abstract要約: コントラスト言語-画像事前学習は、視覚モデルにテキスト管理を導入することに成功している。 CLIPの使用は最近、医療画像領域への関心が高まっている。
• 参考スコア（独自算出の注目度）: 59.429714742927956
• License:
• Abstract: Contrastive Language-Image Pre-training (CLIP), a simple yet effective pre-training paradigm, successfully introduces text supervision to vision models. It has shown promising results across various tasks due to its generalizability and interpretability. The use of CLIP has recently gained increasing interest in the medical imaging domain, serving as a pre-training paradigm for image-text alignment, or a critical component in diverse clinical tasks. With the aim of facilitating a deeper understanding of this promising direction, this survey offers an in-depth exploration of the CLIP within the domain of medical imaging, regarding both refined CLIP pre-training and CLIP-driven applications. In this paper, we (1) first start with a brief introduction to the fundamentals of CLIP methodology; (2) then investigate the adaptation of CLIP pre-training in the medical imaging domain, focusing on how to optimize CLIP given characteristics of medical images and reports; (3) further explore practical utilization of CLIP pre-trained models in various tasks, including classification, dense prediction, and cross-modal tasks; and (4) finally discuss existing limitations of CLIP in the context of medical imaging, and propose forward-looking directions to address the demands of medical imaging domain. Studies featuring technical and practical value are both investigated. We expect this survey will provide researchers with a holistic understanding of the CLIP paradigm and its potential implications. The project page of this survey can also be found on https://github.com/zhaozh10/Awesome-CLIP-in-Medical-Imaging.
• Abstract（参考訳）: Contrastive Language-Image Pre-Training (CLIP) は、シンプルだが効果的な事前学習パラダイムであり、視覚モデルにテキスト管理を導入することに成功した。 一般化可能性と解釈可能性のために、様々なタスクで有望な結果を示している。 CLIPの使用は、画像テキストアライメントのための事前訓練パラダイムや、様々な臨床タスクにおいて重要な要素として機能する医療画像領域への関心が高まっている。 この将来性のある方向性をより深く理解することを目的として、この調査は、CLIP事前トレーニングとCLIP駆動アプリケーションの両方に関して、医療画像領域におけるCLIPの詳細な調査を提供する。 本稿では,まず,(1)CLIP方法論の簡単な紹介から始め,(2)医療画像領域におけるCLIP事前訓練の適応について,(2)医療画像の特徴と報告のCLIPの最適化方法,(3)分類,密集予測,クロスモーダルタスクを含む様々なタスクにおけるCLIP事前訓練モデルの実践的活用,(4)医療画像領域におけるCLIPの既存の限界を論じるとともに,医用画像領域の要求に対処するための先進的な方向性を提案する。 技術的価値と実践的価値を兼ね備えた研究が研究されている。 この調査は、研究者にCLIPパラダイムとその潜在的影響に関する総合的な理解を提供すると期待している。 この調査のプロジェクトページはhttps://github.com/zhaozh10/Awesome-CLIP-in-Medical-Imagingでも見ることができる。

関連論文リスト

• KPL: Training-Free Medical Knowledge Mining of Vision-Language Models [38.85906425979443]
  知識プロキシ学習(KPL)は、CLIPのマルチモーダル理解を医療画像分類に活用するために設計された。 KPLは、構築された知識強化ベースから画像関連知識記述を検索し、セマンティックテキストプロキシを豊かにする。 入力画像とこれらの記述をCLIPでエンコードし、安定してマルチモーダルプロキシを生成し、ゼロショット分類性能を向上する。
  論文  参考訳（メタデータ） (2025-01-20T02:31:00Z)
• OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [60.75854609803651]
  OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。 OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。 我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
  論文  参考訳（メタデータ） (2024-11-23T02:53:08Z)
• MedFLIP: Medical Vision-and-Language Self-supervised Fast Pre-Training with Masked Autoencoder [26.830574964308962]
  本稿では,医療分析のための高速言語画像事前学習手法であるMedFLIPを紹介する。 交差ドメインを用いたゼロショット学習のためのMAEを探索し、限られたデータから学習するモデルの能力を向上する。 最後に,医療画像解析におけるゼロショット性能の向上を言語を用いて検証する。
  論文  参考訳（メタデータ） (2024-03-07T16:11:43Z)
• IMITATE: Clinical Prior Guided Hierarchical Vision-Language Pre-training [15.04212780946932]
  階層的視覚言語アライメントを用いた医療報告から構造情報を学習するための新しいフレームワークImitateを提案する。 このフレームワークは胸部X線(CXR)画像から多段階の視覚特徴を導出し、これらの特徴を階層的な医療報告に符号化された記述的および決定的テキストと別々に整列する。
  論文  参考訳（メタデータ） (2023-10-11T10:12:43Z)
• An Empirical Study of CLIP for Text-based Person Search [51.94743973155648]
  テキストベースPerson Search (TBPS) は、自然言語による人物画像の検索を目的としている。 Contrastive Language Image Pretraining (CLIP)は、多種多様なモダル下流タスクにおいて、多種多様なモダル横断視覚言語事前訓練モデルである。 本稿では,TBPSタスクに対するCLIPの総合的研究を初めて行おうとする。
  論文  参考訳（メタデータ） (2023-08-19T15:08:10Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)
• Align, Reason and Learn: Enhancing Medical Vision-and-Language Pre-training with Knowledge [68.90835997085557]
  本稿では,3つの視点から構造化された医療知識を高めるための体系的かつ効果的なアプローチを提案する。 まず、視覚エンコーダと言語エンコーダの表現を知識を通して整列する。 次に,多モード融合モデルに知識を注入し,入力画像とテキストの補足として知識を用いた推論を可能にする。 第3に、知識によって引き起こされるプレテキストタスクを設計することで、画像やテキストの最も重要な情報に重点を置くよう、モデルを指導する。
  論文  参考訳（メタデータ） (2022-09-15T08:00:01Z)
• Does CLIP Benefit Visual Question Answering in the Medical Domain as Much as it Does in the General Domain? [38.229972218195336]
  本研究は,MedVQA(MedVQA)の課題に対するコントラスト言語-画像事前学習(CLIP)の有効性を評価する。 我々は,2つのMedVQAベンチマークデータセットを用いて,MEVF(Mixture of Enhanced Visual Features)とQCR(Question answering via Conditional Reasoning)という2つのMedVQA手法について検討した。 それぞれについて,従来のCLIPであるPubMedCLIPと,ビジュアルデータのみに基づいて事前学習した最先端のMAML(Model-Agnostic Meta-Learning)ネットワークを用いて,視覚表現学習のメリットを評価する。
  論文  参考訳（メタデータ） (2021-12-27T21:19:23Z)
• Colorectal Polyp Classification from White-light Colonoscopy Images via Domain Alignment [57.419727894848485]
  大腸内視鏡画像からの正確な診断を支援するためには,コンピュータ支援診断システムが必要である。 これまでのほとんどの研究では、Narrow-Band Imaging (NBI) や他の拡張画像を用いて、ポリプの分化モデルの開発を試みている。 正確な大腸ポリープ分類のための教師/学生アーキテクチャに基づく新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-08-05T09:31:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。