論文の概要: SonoCLIP: Mask-Guided Region-Aware Vision-Language Pretraining for Fetal Ultrasound Analysis
- arxiv url: http://arxiv.org/abs/2606.29586v1
- Date: Sun, 28 Jun 2026 20:04:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.976978
- Title: SonoCLIP: Mask-Guided Region-Aware Vision-Language Pretraining for Fetal Ultrasound Analysis
- Title(参考訳): SonoCLIP:胎児超音波解析のためのマスクガイド付き領域認識言語準備
- Abstract要約: SonoCLIPは胎児超音波解析のための視覚言語基盤モデルである。
セグメンテーションマスクを視覚エンコーダ内にマスクチャネル視覚プロンプトとして組み込む。
グローバルおよびマスク誘導推論の両方において、ゼロショット転送性能に優れる。
- 参考スコア(独自算出の注目度): 51.81845420301345
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language foundation models have shown strong potential in medical image analysis. Although foundation models for ultrasound imaging have recently emerged, the domain remains particularly challenging due to severe speckle noise, acquisition variability, and subtle anatomical boundaries, leading to high inter-observer variability. Existing CLIP-based models rely primarily on global image-text alignment, limiting their sensitivity to clinically decisive local structures. We propose SonoCLIP, the first million-scale region-controllable fetal ultrasound vision-language foundation model that integrates segmentation masks as mask-channel visual prompts within the vision encoder, enabling joint global-local contrastive representation learning. To support scalable region-text alignment, we introduce a sigmoid-based pairwise contrastive loss that improves stability under large-scale supervision. We further curate a 1.44M-image multimodal fetal ultrasound dataset spanning 24 standard planes for large-scale pretraining. Extensive cross-center evaluations demonstrate that SonoCLIP achieves superior zero-shot transfer performance under both global and mask-guided inference, establishing a controllable and clinically oriented foundation model for fetal ultrasound analysis. Our code and data are available at https://github.com/Harrison-one/SonoCLIP.
- Abstract(参考訳): ヴィジュアル言語基盤モデルは、医用画像解析に強い可能性を示している。
超音波画像の基礎モデルが最近登場したが、この領域は厳しいスペックルノイズ、取得のばらつき、微妙な解剖学的境界のために特に困難であり、高いサーバ間変動をもたらす。
既存のCLIPベースのモデルは、主にグローバルな画像テキストアライメントに依存し、臨床的に決定的な局所構造に対する感受性を制限する。
視覚エンコーダ内のマスクチャネル視覚プロンプトとしてセグメンテーションマスクを統合し,グローバルなコントラスト表現学習を実現する。
拡張性のある領域テキストアライメントをサポートするため,大規模監視下での安定性向上を目的とした,シグモイドベースのペアワイドコントラスト損失を導入する。
さらに、大規模プレトレーニングのために、24の標準平面にまたがる1.44Mのマルチモーダル胎児超音波データセットをキュレートする。
広汎なクロスセンター評価により,大域的およびマスク誘導的推論によるゼロショット転送性能が向上し,胎児超音波解析のための制御可能な臨床指向基盤モデルが確立された。
私たちのコードとデータはhttps://github.com/Harrison-one/SonoCLIP.comで公開されています。
関連論文リスト
- Bridging Vision Foundation Model Priors with CLIP for Spatial-aware Few-shot Anomaly Detection in Medical Images [48.646448077284276]
本研究では,数発の医用異常検出を効果的に行うためのフレームワークであるSpatial-FADを提案する。
VFM空間先行とCLIPセマンティクスを組み合わせることで病変の局在を改善する。
本手法は,Diceスコアが11.4%,AUCが1.8%以上の平均改善を実現している。
論文 参考訳(メタデータ) (2026-09-11T05:21:01Z) - Echo-α: Large Agentic Multimodal Reasoning Model for Ultrasound Interpretation [76.6507710204181]
超音波解釈のためのエージェント型マルチモーダル推論モデルであるEcho-を提案する。
Echo-は臓器固有の検出出力を調整し、それらをグローバルな視覚的コンテキストに統合し、その結果の証拠を根拠となる診断決定に変換するように訓練されている。
以上の結果から, エージェントによるマルチモーダル推論は, 特定検出器を検証可能な臨床証拠にすることができることが示唆された。
論文 参考訳(メタデータ) (2026-04-30T15:31:00Z) - Multi-View Synergistic Learning with Vision-Language Adaption for Low-Resource Biomedical Image Classification [59.24009931000134]
MVSL(Multi-View Synergistic Learning)は、適応パラダイム、表現の粒度、疾患の意味的関係に対処する統合フレームワークである。
MVSLは、視覚的およびテキスト的エンコーダの適応を分離し、それぞれの表現特性を尊重する。
さらに、グローバルなイメージセマンティクスと局所的な病変レベルの証拠の両方を明示的にモデル化するために、多粒性コントラスト学習を導入する。
MVSLは、いくつかのショットとゼロショットの分類設定において、最先端のメソッドを一貫して上回る。
論文 参考訳(メタデータ) (2026-04-27T02:41:27Z) - FETAL-GAUGE: A Benchmark for Assessing Vision-Language Models in Fetal Ultrasound [2.8097961263689406]
出生前超音波画像の需要は、訓練されたソノグラフィーの世界的な不足を増している。
深層学習は、ソノグラフィーの効率を高め、新しい実践者の訓練を支援する可能性がある。
We present Fetal-Gauge, the first and largest visual question answering benchmark designed to evaluate Vision-Language Models (VLMs)。
対象は,42,000枚以上の画像と93,000枚の質問応答対,解剖学的平面同定,解剖学的形態の視覚的グラウンドニング,胎児の配向評価,臨床像の適合性,臨床診断である。
論文 参考訳(メタデータ) (2025-12-25T04:54:37Z) - UMind-VL: A Generalist Ultrasound Vision-Language Model for Unified Grounded Perception and Comprehensive Interpretation [11.608721320550108]
UMind-VLは、複雑な臨床推論とピクセルレベルの構造的理解を相乗化するために設計された統一基盤モデルである。
UMind-DSは16の解剖学的領域にわたる120万の超音波画像テキストペアからなる大規模マルチモーダルデータセットである。
論文 参考訳(メタデータ) (2025-11-27T09:33:00Z) - USF-MAE: Ultrasound Self-Supervised Foundation Model with Masked Autoencoding [0.205246094017924]
マスク付き自動符号化(USF-MAE)を用いた超音波自己監督基礎モデルについて紹介する。
USF-MAEは超音波データのみに事前訓練された最初の大規模自己監督型MAEフレームワークである。
このモデルは、46のオープンソースデータセットから算出された370,000の2Dおよび3D超音波画像で事前訓練された。
論文 参考訳(メタデータ) (2025-10-27T04:16:43Z) - Epistemic-aware Vision-Language Foundation Model for Fetal Ultrasound Interpretation [83.02147613524032]
医療用AIシステムFetalMindについて報告する。
本稿では、専門家による2部グラフをモデルに注入し、ビュー・ディスリーズ関連を分離するSED(Salient Epistemic Disentanglement)を提案する。
FetalMindはすべての妊娠期のオープンソースおよびクローズドソースベースラインを上回り、平均利得は+14%、臨界条件では+61.2%高い。
論文 参考訳(メタデータ) (2025-10-14T19:57:03Z) - A Fully Open and Generalizable Foundation Model for Ultrasound Clinical Applications [77.3888788549565]
一般臨床用超音波基礎モデルであるEchoCareについて紹介する。
我々は、キュレートされた、一般公開された大規模なデータセットであるEchoCareData上で、自己教師付き学習を通じてEchoCareを開発した。
最小限のトレーニングで、EchoCareは10の代表的なベンチマークで最先端の比較モデルを上回っている。
論文 参考訳(メタデータ) (2025-09-15T10:05:31Z) - FetalCLIP: A Visual-Language Foundation Model for Fetal Ultrasound Image Analysis [1.8708892537037023]
FetalCLIPは胎児超音波画像の普遍的な表現を生成できる視覚言語基盤モデルである。
テキストと組み合わせた210,035個の胎児超音波画像から,マルチモーダル・ラーニング・アプローチを用いて事前訓練を行った。
論文 参考訳(メタデータ) (2025-02-20T18:30:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。