論文の概要: Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding

• arxiv url: http://arxiv.org/abs/2604.01749v1
• Date: Thu, 02 Apr 2026 08:10:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.606332
• Title: Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding
• Title（参考訳）: 超音波-CLIP:超音波画像-テキスト理解のための意味認識型コントラスト事前学習
• Authors: Jiayun Jin, Haolong Chai, Xueying Huang, Xiaoqing Guo, Zengwei Zheng, Zhan Zhou, Junmei Wang, Xinyu Wang, Jie Liu, Binbin Zhou,
• Abstract要約: CLIPのような既存の視覚言語事前学習モデルは、主に他のモダリティのために設計されている。 52の解剖学的カテゴリにわたる365万対のサンプルを含む大規模超音波画像テキストデータセットUS-365Kを構築した。 セマンティック・ソフト・ラベルとセマンティック・ロスを導入した意味認識型コントラスト学習フレームワークであるUltrasound-CLIPを提案する。
• 参考スコア（独自算出の注目度）: 14.606536256652726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ultrasound imaging is widely used in clinical diagnostics due to its real-time capability and radiation-free nature. However, existing vision-language pre-training models, such as CLIP, are primarily designed for other modalities, and are difficult to directly apply to ultrasound data, which exhibit heterogeneous anatomical structures and diverse diagnostic attributes. To bridge this gap, we construct US-365K, a large-scale ultrasound image-text dataset containing 365k paired samples across 52 anatomical categories. We establish Ultrasonographic Diagnostic Taxonomy (UDT) containing two hierarchical knowledge frameworks. Ultrasonographic Hierarchical Anatomical Taxonomy standardizes anatomical organization, and Ultrasonographic Diagnostic Attribute Framework formalizes nine diagnostic dimensions, including body system, organ, diagnosis, shape, margins, echogenicity, internal characteristics, posterior acoustic phenomena, and vascularity. Building upon these foundations, we propose Ultrasound-CLIP, a semantic-aware contrastive learning framework that introduces semantic soft labels and semantic loss to refine sample discrimination. Moreover, we construct a heterogeneous graph modality derived from UDAF's textual representations, enabling structured reasoning over lesion-attribute relations. Extensive experiments with patient-level data splitting demonstrate that our approach achieves state-of-the-art performance on classification and retrieval benchmarks, while also delivering strong generalization to zero-shot, linear probing, and fine-tuning tasks.
• Abstract（参考訳）: 超音波イメージングはそのリアルタイム能力と放射線のない性質のために臨床診断に広く用いられている。 しかし、CLIPのような既存の視覚言語事前学習モデルは、主に他のモダリティのために設計されており、異種解剖学的構造と多様な診断属性を示す超音波データに直接適用することは困難である。 このギャップを埋めるために,52の解剖学的カテゴリにわたる365万組のサンプルを含む大規模超音波画像テキストデータセットUS-365Kを構築した。 2つの階層的知識フレームワークを含む超音波診断分類法(UDT)を確立した。 超音波階層型解剖学は解剖学的組織を標準化し、超音波診断属性フレームワークは、身体、臓器、診断、形状、マージン、エコー原性、内部特性、後部音響現象、血管性を含む9つの診断次元を定式化している。 これらの基礎の上に構築されたUltrasound-CLIPは,セマンティック・ソフトラベルとセマンティック・ロスを導入し,サンプル識別を洗練させるセマンティック・アウェア・コントラッシブ・ラーニング・フレームワークである。 さらに、UDAFのテキスト表現から導かれる異種グラフのモダリティを構築し、病変-属性関係に対する構造化推論を可能にする。 患者レベルのデータ分割による広範囲な実験により,本手法は分類と検索ベンチマークの最先端性能を実現するとともに,ゼロショット,線形探索,微調整タスクへの強力な一般化を実現している。

関連論文リスト

• Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
  MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。 消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。 本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-21T07:47:37Z)
• A Fully Open and Generalizable Foundation Model for Ultrasound Clinical Applications [77.3888788549565]
  一般臨床用超音波基礎モデルであるEchoCareについて紹介する。 我々は、キュレートされた、一般公開された大規模なデータセットであるEchoCareData上で、自己教師付き学習を通じてEchoCareを開発した。 最小限のトレーニングで、EchoCareは10の代表的なベンチマークで最先端の比較モデルを上回っている。
  論文  参考訳（メタデータ） (2025-09-15T10:05:31Z)
• NeuroXVocal: Detection and Explanation of Alzheimer's Disease through Non-invasive Analysis of Picture-prompted Speech [4.815952991777717]
  NeuroXVocalは、音声分析によってアルツハイマー病(AD)の可能性を分類し、説明する新しい二重成分システムである。 分類コンポーネント(Neuro)は、音声パターンと音声特徴をキャプチャする音響特徴、音声書き起こしから抽出したテキスト特徴、言語パターンを表す事前計算された埋め込みの3つの異なるデータストリームを処理する。 説明可能性コンポーネント(XVocal)は、大規模言語モデルとAD研究文献のドメイン固有の知識ベースを組み合わせた、検索・拡張生成(RAG)アプローチを実装している。
  論文  参考訳（メタデータ） (2025-02-14T12:09:49Z)
• Deep Spectral Methods for Unsupervised Ultrasound Image Interpretation [53.37499744840018]
  本稿では, 超音波を応用した非教師型深層学習手法を提案する。 我々は、スペクトルグラフ理論と深層学習法を組み合わせた教師なしディープスペクトル法から重要な概念を統合する。 スペクトルクラスタリングの自己教師型トランスフォーマー機能を利用して、超音波特有のメトリクスと形状と位置の先行値に基づいて意味のあるセグメントを生成し、データセット間のセマンティック一貫性を確保する。
  論文  参考訳（メタデータ） (2024-08-04T14:30:14Z)
• CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
  縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。 ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。 我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2024-03-21T15:13:36Z)
• HiFi-Syn: Hierarchical Granularity Discrimination for High-Fidelity Synthesis of MR Images with Structure Preservation [11.924728060845595]
  医用画像に含まれる様々な意味情報を活用する階層的粒度識別を導入する。 当社の戦略では,脳記憶バンクを用いたピクセルレベルの識別,各脳構造に対する構造レベルの識別,およびハードサンプルに焦点を当てた再重み付け戦略という,3段階の識別粒度を活用している。 我々のモデルは、患者の特定のMRモダリティが利用できないシナリオにおいて、代替の解決策を提供するかもしれない。
  論文  参考訳（メタデータ） (2023-11-21T09:15:24Z)
• Factored Attention and Embedding for Unstructured-view Topic-related Ultrasound Report Generation [70.7778938191405]
  本研究では,非構造的トピック関連超音波レポート生成のための新しい因子的注意・埋め込みモデル(FAE-Gen)を提案する。 提案したFAE-Genは主に2つのモジュール、すなわちビュー誘導因子の注意とトピック指向因子の埋め込みから構成されており、異なるビューで均質および不均一な形態的特徴を捉えている。
  論文  参考訳（メタデータ） (2022-03-12T15:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。