論文の概要: UAE: Universal Anatomical Embedding on Multi-modality Medical Images

• arxiv url: http://arxiv.org/abs/2311.15111v3
• Date: Thu, 18 Jan 2024 09:02:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-19 19:32:40.052335
• Title: UAE: Universal Anatomical Embedding on Multi-modality Medical Images
• Title（参考訳）: UAE:マルチモダリティ医療画像への普遍的解剖学的埋め込み
• Authors: Xiaoyu Bai, Fan Bai, Xiaofei Huo, Jia Ge, Jingjing Lu, Xianghua Ye, Ke Yan, and Yong Xia
• Abstract要約: 汎用解剖学的埋め込み (UAE) を提案し, 外観, 意味, 異質な解剖学的埋め込みを学習する。 UAEには,(1)原型的コントラスト損失を伴うセマンティック埋め込み学習,(2)固定点型マッチング戦略,(3)モダリティ間埋め込み学習の反復的アプローチの3つの革新が含まれている。 以上の結果から,UAEは最先端の手法よりも優れており,ランドマークに基づく医用画像解析タスクに対して,堅牢で多目的なアプローチが可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 7.589247017940839
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Identifying specific anatomical structures (\textit{e.g.}, lesions or landmarks) in medical images plays a fundamental role in medical image analysis. Exemplar-based landmark detection methods are receiving increasing attention since they can detect arbitrary anatomical points in inference while do not need landmark annotations in training. They use self-supervised learning to acquire a discriminative embedding for each voxel within the image. These approaches can identify corresponding landmarks through nearest neighbor matching and has demonstrated promising results across various tasks. However, current methods still face challenges in: (1) differentiating voxels with similar appearance but different semantic meanings (\textit{e.g.}, two adjacent structures without clear borders); (2) matching voxels with similar semantics but markedly different appearance (\textit{e.g.}, the same vessel before and after contrast injection); and (3) cross-modality matching (\textit{e.g.}, CT-MRI landmark-based registration). To overcome these challenges, we propose universal anatomical embedding (UAE), which is a unified framework designed to learn appearance, semantic, and cross-modality anatomical embeddings. Specifically, UAE incorporates three key innovations: (1) semantic embedding learning with prototypical contrastive loss; (2) a fixed-point-based matching strategy; and (3) an iterative approach for cross-modality embedding learning. We thoroughly evaluated UAE across intra- and inter-modality tasks, including one-shot landmark detection, lesion tracking on longitudinal CT scans, and CT-MRI affine/rigid registration with varying field of view. Our results suggest that UAE outperforms state-of-the-art methods, offering a robust and versatile approach for landmark based medical image analysis tasks. Code and trained models are available at: \href{https://shorturl.at/bgsB3}
• Abstract（参考訳）: 医用画像における特定の解剖学的構造(例えば、病変やランドマーク)の同定は、医用画像解析において重要な役割を果たす。 トレーニングにおいてランドマークアノテーションを必要とせず,任意の解剖学的点を推論で検出できるため,既存のランドマーク検出手法が注目されている。 彼らは自己教師付き学習を使用して、画像内の各ボクセルに対する識別的埋め込みを取得する。 これらのアプローチは、最寄りの隣接マッチングを通じて対応するランドマークを識別でき、様々なタスクにまたがる有望な結果を示している。 しかしながら、現在の手法では、(1)類似した外観を持つボクセルを識別するが、異なる意味を持つ(例えば、明確な境界を持たない2つの隣接する構造)、(2)類似のセマンティクスを持つが顕著に異なる外観を持つボクセル(例えば、コントラスト注入前後の同一容器)、(3)異質なマッチング(例えば、CT-MRIランドマークベース登録)、といった課題に直面している。 これらの課題を克服するため,我々は,出現,意味,および横断的解剖学的埋め込みを学ぶために設計された統一フレームワークであるuniversal anatomical embedded (uae)を提案する。 特に、uaeは、3つの重要なイノベーションを取り入れている: (1) 先駆的なコントラスト損失を伴う意味埋め込み学習、(2) 固定点ベースのマッチング戦略、(3) 相互モダリティ埋め込み学習のための反復的アプローチ。 単発ランドマーク検出,経時的CTスキャンの病変追跡,CT-MRIアフィン/リグイド登録など,モダリティ内タスクおよびモダリティ間タスク間でUAEを徹底的に評価した。 以上の結果から,UAEは最先端の手法よりも優れており,ランドマークに基づく医用画像解析タスクに対して,堅牢で多目的なアプローチを提供する。 コードとトレーニングされたモデルは以下の通りである。

関連論文リスト

• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• Anatomy-guided Pathology Segmentation [56.883822515800205]
  本研究では, 解剖学的特徴と病理学的情報を組み合わせた汎用的セグメンテーションモデルを構築し, 病理学的特徴のセグメンテーション精度を高めることを目的とする。 我々の解剖学・病理学交流(APEx)訓練では,ヒト解剖学の問合せ表現に結合特徴空間をデコードする問合せベースのセグメンテーション変換器を用いている。 これにより、FDG-PET-CTとChest X-Rayの病理分類タスクにおいて、強力なベースライン法に比べて最大3.3%のマージンで、ボード全体で最高の結果を報告できる。
  論文  参考訳（メタデータ） (2024-07-08T11:44:15Z)
• DenseSeg: Joint Learning for Semantic Segmentation and Landmark Detection Using Dense Image-to-Shape Representation [1.342749532731493]
  本稿では,ランドマークとセマンティックセグメンテーションの併用学習を可能にする画像と形状の濃密な表現を提案する。 本手法では,解剖学的対応の表現による任意のランドマークの抽出を直感的に行うことができる。
  論文  参考訳（メタデータ） (2024-05-30T06:49:59Z)
• Anatomical Structure-Guided Medical Vision-Language Pre-training [21.68719061251635]
  医用視覚表現を学習するための解剖学的構造ガイド(ASG)フレームワークを提案する。 解剖学的領域に対しては,放射線技師と協調して自動解剖学的領域文アライメントパラダイムを設計する。 画像の特徴を各サンプル内の各タグに関連付けるために,画像タグ認識デコーダを適用して画像タグとみなす。
  論文  参考訳（メタデータ） (2024-03-14T11:29:47Z)
• MAP: Domain Generalization via Meta-Learning on Anatomy-Consistent Pseudo-Modalities [12.194439938007672]
  解剖学的に整合した擬似モダリティ(MAP)のメタラーニングを提案する。 MAPは構造的特徴を学習することでモデル一般化性を向上させる。 各種網膜画像モダリティの公開データセットを7つ評価した。
  論文  参考訳（メタデータ） (2023-09-03T22:56:22Z)
• Region-based Contrastive Pretraining for Medical Image Retrieval with Anatomic Query [56.54255735943497]
  医用画像検索のための地域別コントラスト事前トレーニング(RegionMIR) 医用画像検索のための領域ベースコントラスト事前トレーニング(RegionMIR)について紹介する。
  論文  参考訳（メタデータ） (2023-05-09T16:46:33Z)
• Unify, Align and Refine: Multi-Level Semantic Alignment for Radiology Report Generation [48.723504098917324]
  マルチレベル・クロスモーダルアライメントを学習するためのUnify, Align, then Refine (UAR)アプローチを提案する。 本稿では,Latent Space Unifier,Cross-modal Representation Aligner,Text-to-Image Refinerの3つの新しいモジュールを紹介する。 IU-XrayおよびMIMIC-CXRベンチマークデータセットの実験と解析は、UARの様々な最先端手法に対する優位性を実証している。
  論文  参考訳（メタデータ） (2023-03-28T12:42:12Z)
• Multi-Granularity Cross-modal Alignment for Generalized Medical Visual Representation Learning [24.215619918283462]
  本報告では, 医用画像の表現を直接学習するための新しい枠組みについて述べる。 本フレームワークは,医用画像と放射線学レポートの自然に現れる意味的対応を3段階に分けて活用する。
  論文  参考訳（メタデータ） (2022-10-12T09:31:39Z)
• Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
  我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。 まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。 第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
  論文  参考訳（メタデータ） (2022-09-27T15:50:31Z)
• Structured Landmark Detection via Topology-Adapting Deep Graph Learning [75.20602712947016]
  解剖学的顔と医学的ランドマーク検出のための新しいトポロジ適応深層グラフ学習手法を提案する。 提案手法は局所像特徴と大域形状特徴の両方を利用するグラフ信号を構成する。 3つの公開顔画像データセット(WFLW、300W、COFW-68)と3つの現実世界のX線医学データセット(ケパロメトリ、ハンド、ペルビス)で実験を行った。
  論文  参考訳（メタデータ） (2020-04-17T11:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。