論文の概要: SAMv2: A Unified Framework for Learning Appearance, Semantic and
Cross-Modality Anatomical Embeddings
- arxiv url: http://arxiv.org/abs/2311.15111v2
- Date: Tue, 28 Nov 2023 02:28:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 21:54:45.419672
- Title: SAMv2: A Unified Framework for Learning Appearance, Semantic and
Cross-Modality Anatomical Embeddings
- Title（参考訳）: SAMv2: 外観、意味、横断的な解剖学的埋め込みを学習するための統一フレームワーク
- Authors: Xiaoyu Bai, Fan Bai, Xiaofei Huo, Jia Ge, Jingjing Lu, Xianghua Ye, Ke
Yan, and Yong Xia
- Abstract要約: 我々は、外観、意味、および異質な解剖学的埋め込みを学習するための統一的なフレームワークSAMv2を提案する。
SAMv2は1ショットのランドマーク検出,経時的CTスキャンの病変追跡,CT-MRIアフィン/リグイド登録の3つのタスクで徹底的に評価した。
その結果,SAMv2はSAMや他の最先端手法よりも優れており,ランドマークに基づく医用画像解析タスクに対して,堅牢で多用途なアプローチが可能であることが示唆された。
- 参考スコア（独自算出の注目度）: 7.589247017940839
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Identifying anatomical structures (e.g., lesions or landmarks) in medical
images plays a fundamental role in medical image analysis. As an exemplar-based
landmark detection method, Self-supervised Anatomical eMbedding (SAM) learns a
discriminative embedding for each voxel in the image and has shown promising
results on various tasks. However, SAM still faces challenges in: (1)
differentiating voxels with similar appearance but different semantic meanings
(\textit{e.g.}, two adjacent structures without clear borders); (2) matching
voxels with similar semantics but markedly different appearance (e.g., the same
vessel before and after contrast injection); and (3) cross-modality matching
(e.g., CT-MRI registration). To overcome these challenges, we propose SAMv2,
which is a unified framework designed to learn appearance, semantic, and
cross-modality anatomical embeddings. Specifically, SAMv2 incorporates three
key innovations: (1) semantic embedding learning with prototypical contrastive
loss; (2) a fixed-point-based matching strategy; and (3) an iterative approach
for cross-modality embedding learning. We thoroughly evaluated SAMv2 across
three tasks, including one-shot landmark detection, lesion tracking on
longitudinal CT scans, and CT-MRI affine/rigid registration with varying field
of view. Our results suggest that SAMv2 outperforms SAM and other
state-of-the-art methods, offering a robust and versatile approach for landmark
based medical image analysis tasks. Code and trained models are available at:
https://github.com/alibaba-damo-academy/self-supervised-anatomical-embedding-v2
- Abstract（参考訳）: 医用画像における解剖学的構造(病変やランドマークなど)の同定は、医用画像解析において基本的な役割を果たす。
自己監督型解剖学的eMbedding(SAM)は,画像中の各ボクセルに対する識別的埋め込みを学習し,様々なタスクにおいて有望な結果を示した。
しかし、SAMは、(1)類似した外観を持つボクセルを区別するが、異なる意味を持つ(\textit{e.}, 明確な境界を持たない2つの隣接する構造)、(2)類似した意味を持つが顕著に異なる外観を持つボクセル(例えば、コントラスト注入前後の同じ容器)、(3)異質なマッチング(例えば、CT-MRI登録)、といった課題に直面している。
これらの課題を克服するため, SAMv2 は外観, 意味, 異質な解剖学的埋め込みを学習するための統一的なフレームワークである。
具体的には,(1) 意味的埋め込み学習と,(2) 固定点に基づくマッチング戦略,(3) クロスモーダル埋め込み学習の反復的アプローチの3つの革新を取り入れた。
今回我々はSAMv2を3つのタスクに網羅的に評価した。1ショットのランドマーク検出、縦型CTスキャンの病変追跡、視野の異なるCT-MRIアフィン/リグイド登録などである。
その結果,SAMv2はSAMや他の最先端手法よりも優れており,ランドマークに基づく医用画像解析タスクに対して,堅牢で多用途なアプローチが提案されている。
コードとトレーニングされたモデルは、https://github.com/alibaba-damo-academy/self-supervised-anatomical-embedding-v2で利用可能だ。
関連論文リスト
- Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。
我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
論文 参考訳（メタデータ） (2024-09-13T10:19:10Z) - Anatomy-guided Pathology Segmentation [56.883822515800205]
本研究では, 解剖学的特徴と病理学的情報を組み合わせた汎用的セグメンテーションモデルを構築し, 病理学的特徴のセグメンテーション精度を高めることを目的とする。
我々の解剖学・病理学交流(APEx)訓練では,ヒト解剖学の問合せ表現に結合特徴空間をデコードする問合せベースのセグメンテーション変換器を用いている。
これにより、FDG-PET-CTとChest X-Rayの病理分類タスクにおいて、強力なベースライン法に比べて最大3.3%のマージンで、ボード全体で最高の結果を報告できる。
論文 参考訳（メタデータ） (2024-07-08T11:44:15Z) - DenseSeg: Joint Learning for Semantic Segmentation and Landmark Detection Using Dense Image-to-Shape Representation [1.342749532731493]
本稿では,ランドマークとセマンティックセグメンテーションの併用学習を可能にする画像と形状の濃密な表現を提案する。
本手法では,解剖学的対応の表現による任意のランドマークの抽出を直感的に行うことができる。
論文 参考訳（メタデータ） (2024-05-30T06:49:59Z) - Anatomical Structure-Guided Medical Vision-Language Pre-training [21.68719061251635]
医用視覚表現を学習するための解剖学的構造ガイド(ASG)フレームワークを提案する。
解剖学的領域に対しては,放射線技師と協調して自動解剖学的領域文アライメントパラダイムを設計する。
画像の特徴を各サンプル内の各タグに関連付けるために,画像タグ認識デコーダを適用して画像タグとみなす。
論文 参考訳（メタデータ） (2024-03-14T11:29:47Z) - MAP: Domain Generalization via Meta-Learning on Anatomy-Consistent
Pseudo-Modalities [12.194439938007672]
解剖学的に整合した擬似モダリティ(MAP)のメタラーニングを提案する。
MAPは構造的特徴を学習することでモデル一般化性を向上させる。
各種網膜画像モダリティの公開データセットを7つ評価した。
論文 参考訳（メタデータ） (2023-09-03T22:56:22Z) - Region-based Contrastive Pretraining for Medical Image Retrieval with
Anatomic Query [56.54255735943497]
医用画像検索のための地域別コントラスト事前トレーニング(RegionMIR)
医用画像検索のための領域ベースコントラスト事前トレーニング(RegionMIR)について紹介する。
論文 参考訳（メタデータ） (2023-05-09T16:46:33Z) - Unify, Align and Refine: Multi-Level Semantic Alignment for Radiology
Report Generation [48.723504098917324]
マルチレベル・クロスモーダルアライメントを学習するためのUnify, Align, then Refine (UAR)アプローチを提案する。
本稿では,Latent Space Unifier,Cross-modal Representation Aligner,Text-to-Image Refinerの3つの新しいモジュールを紹介する。
IU-XrayおよびMIMIC-CXRベンチマークデータセットの実験と解析は、UARの様々な最先端手法に対する優位性を実証している。
論文 参考訳（メタデータ） (2023-03-28T12:42:12Z) - Multi-Granularity Cross-modal Alignment for Generalized Medical Visual
Representation Learning [24.215619918283462]
本報告では, 医用画像の表現を直接学習するための新しい枠組みについて述べる。
本フレームワークは,医用画像と放射線学レポートの自然に現れる意味的対応を3段階に分けて活用する。
論文 参考訳（メタデータ） (2022-10-12T09:31:39Z) - Mine yOur owN Anatomy: Revisiting Medical Image Segmentation with Extremely Limited Labels [54.58539616385138]
我々は、Mine yOur owN Anatomy (MONA) と呼ばれる、新しい半教師付き2次元医用画像セグメンテーションフレームワークを紹介する。
まず、先行研究では、すべてのピクセルがモデルトレーニングに等しく重要であると論じており、我々はこの1つだけで意味のある解剖学的特徴を定義できないことを経験的に観察している。
第2に,医療画像を解剖学的特徴の集合に分解できるモデルを構築する。
論文 参考訳（メタデータ） (2022-09-27T15:50:31Z) - Structured Landmark Detection via Topology-Adapting Deep Graph Learning [75.20602712947016]
解剖学的顔と医学的ランドマーク検出のための新しいトポロジ適応深層グラフ学習手法を提案する。
提案手法は局所像特徴と大域形状特徴の両方を利用するグラフ信号を構成する。
3つの公開顔画像データセット(WFLW、300W、COFW-68)と3つの現実世界のX線医学データセット(ケパロメトリ、ハンド、ペルビス)で実験を行った。
論文 参考訳（メタデータ） (2020-04-17T11:55:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。