論文の概要: CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis
- arxiv url: http://arxiv.org/abs/2605.08493v1
- Date: Fri, 08 May 2026 21:14:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.683939
- Title: CapCLIP: A Vision-Language Representation Alignment Approach for Wireless Capsule Endoscopy Analysis
- Title（参考訳）: CapCLIP:ワイヤレスカプセル内視鏡解析のための視覚言語表現アライメントアプローチ
- Authors: Haroon Wahab, Irfan Mehmood, Hassan Ugail,
- Abstract要約: ワイヤレスカプセル内視鏡(WCE)は小腸の非侵襲的視覚的評価を可能にする。
WCEの既存の学習ベースのアプローチは主に視覚のみであり、しばしば狭い病理セットに限られる。
本稿では,WCEのためのドメイン固有視覚言語表現学習フレームワークであるCapCLIPを紹介する。
- 参考スコア（独自算出の注目度）: 0.4551615447454768
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Wireless capsule endoscopy (WCE) enables non-invasive visual assessment of the small bowel, but its clinical utility is constrained by the large volume of frames generated per examination and the difficulty of recognising subtle abnormalities under highly variable imaging conditions. Existing learning-based approaches for WCE are predominantly vision-only, often confined to narrow pathology sets, and show limited transfer across datasets and centres. To address these limitations, this study introduces CapCLIP, a domain-specific vision-language representation learning framework for WCE. CapCLIP aligns capsule endoscopy frames with clinically grounded textual descriptions derived from standardised nomenclature and pathology-aware caption templates, thereby learning embeddings that are both semantically informed and transferable. The proposed framework is evaluated against relevant open-source vision and vision-language foundation models under strict zero-shot conditions using unseen WCE datasets. Evaluation covers three downstream tasks: K-nearest neighbour classification, CLIP-style image-text classification, and text-to-image retrieval. Across these settings, CapCLIP consistently outperforms the compared baselines, with particularly strong gains in zero-shot image-text classification and cross-modal retrieval on out-of-distribution datasets. The results indicate that language-guided representation learning can improve both generalisation and semantic interpretability in WCE analysis. These findings position CapCLIP as a step toward foundation models tailored to capsule endoscopy and support the use of language-grounded WCE analysis.
- Abstract（参考訳）: ワイヤレスカプセル内視鏡(WCE)は小腸の非侵襲的視覚的評価を可能にするが,その臨床的有用性は検査1回あたりのフレームの大量発生と,高可変画像条件下での微妙な異常の認識が困難であることに制約される。
WCEの既存の学習ベースのアプローチは、主に視覚のみのアプローチであり、しばしば狭い病理セットに限定され、データセットやセンター間での移動が制限されている。
これらの制約に対処するため、本研究では、WCEのためのドメイン固有の視覚言語表現学習フレームワークであるCapCLIPを紹介した。
CapCLIPは、カプセル内視鏡のフレームと、標準化された命名法と病理学的に認識されたキャプションテンプレートから導かれる臨床的に根拠付けられたテキスト記述とを整合させ、意味的情報と伝達性の両方を持つ埋め込みを学習する。
提案フレームワークは、未確認のWCEデータセットを用いて、厳密なゼロショット条件下で、関連するオープンソースビジョンとビジョン言語基盤モデルに対して評価される。
K-nearest 近傍分類、CLIP スタイルの画像テキスト分類、テキスト・ツー・イメージ検索の3つの下流タスクを対象として評価を行った。
これらの設定全体にわたって、CapCLIPは比較ベースラインを一貫して上回り、特にゼロショット画像テキスト分類や、アウト・オブ・ディストリビューションデータセットでのクロスモーダル検索において、大きな利益を上げている。
その結果,言語指導型表現学習は,WCE解析における一般化と意味解釈性の両方を改善することができることがわかった。
これらの結果から,CapCLIPはカプセル内視鏡に適合し,言語基底WCE解析の活用を支援する基礎モデルへの第一歩と位置づけられた。
関連論文リスト
- MedSAD-CLIP: Supervised CLIP with Token-Patch Cross-Attention for Medical Anomaly Detection and Segmentation [1.055294253870608]
医学的異常検出(MAD)とセグメンテーション(セグメンテーション)は臨床診断を補助する重要な役割を担っている。
最近のCLIPベースの研究は、ゼロ/フェーショット設定における異常検出を約束している。
現実的な臨床環境下でのMADに対するCLIPの適応について検討した。
論文 参考訳（メタデータ） (2026-03-18T03:37:44Z) - Self-Supervised Anatomical Consistency Learning for Vision-Grounded Medical Report Generation [61.350584471060756]
医用画像の臨床的に正確な記述を作成することを目的とした医用レポート生成。
本稿では, 自己監督型解剖学的一貫性学習(SS-ACL)を提案し, 生成された報告を対応する解剖学的領域と整合させる。
SS-ACLは、ヒト解剖学の不変のトップダウン包摂構造にインスパイアされた階層的な解剖学的グラフを構築する。
論文 参考訳（メタデータ） (2025-09-30T08:59:06Z) - CLIP-IT: CLIP-based Pairing for Histology Images Classification [14.397842743945155]
マルチモーダル学習は、画像やテキストのような相補的なモダリティを組み合わせた医療画像において有望であることを示している。
CLIP-IT(CLIP-IT)は、リッチな未ペアテキストレポートに依存する新しいフレームワークである。
また,CLIP-ITは,CLIPベースラインの非標準およびマルチモーダルベースラインの分類精度を常に向上することを示した。
論文 参考訳（メタデータ） (2025-04-22T18:14:43Z) - Visual Prompt Engineering for Vision Language Models in Radiology [0.17183214167143138]
Contrastive Language-Image Pretraining (CLIP)は,マルチモーダルな大規模事前訓練によるゼロショット分類を可能にすることで,有望なソリューションを提供する。
CLIPは、グローバルな画像コンテンツを効果的にキャプチャするが、ラジオロジーは、解釈可能性と診断精度の両方を高めるために、特定の病理領域により局所的な焦点をあてる必要がある。
視覚的手がかりをゼロショット分類に組み込む可能性を探り、矢印、バウンディングボックス、円などの視覚的マーカーを直接放射線画像に埋め込んでモデル注意を誘導する。
論文 参考訳（メタデータ） (2024-08-28T13:53:27Z) - An Empirical Study of CLIP for Text-based Person Search [51.94743973155648]
テキストベースPerson Search (TBPS) は、自然言語による人物画像の検索を目的としている。
Contrastive Language Image Pretraining (CLIP)は、多種多様なモダル下流タスクにおいて、多種多様なモダル横断視覚言語事前訓練モデルである。
本稿では,TBPSタスクに対するCLIPの総合的研究を初めて行おうとする。
論文 参考訳（メタデータ） (2023-08-19T15:08:10Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。
我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
論文 参考訳（メタデータ） (2022-10-17T17:57:46Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳（メタデータ） (2021-08-02T10:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。