論文の概要: Matching in the Wild: Learning Anatomical Embeddings for Multi-Modality
Images
- arxiv url: http://arxiv.org/abs/2307.03535v1
- Date: Fri, 7 Jul 2023 11:49:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-10 12:39:33.763954
- Title: Matching in the Wild: Learning Anatomical Embeddings for Multi-Modality
Images
- Title（参考訳）: 野生でのマッチング:マルチモーダル画像のための解剖学的埋め込み学習
- Authors: Xiaoyu Bai, Fan Bai, Xiaofei Huo, Jia Ge, Tony C. W. Mok, Zi Li,
Minfeng Xu, Jingren Zhou, Le Lu, Dakai Jin, Xianghua Ye, Jingjing Lu, Ke Yan
- Abstract要約: 放射線療法士は、両方のモダリティからの情報を効果的に活用するために、MR/CT画像の正確な登録を必要とする。
近年の学習に基づく手法は, 剛体/ファインステップにおいて有望な結果を示した。
そこで我々は,クロスモダリティマッチングを可能にするCross-SAMと呼ばれる新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 28.221419419614183
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Radiotherapists require accurate registration of MR/CT images to effectively
use information from both modalities. In a typical registration pipeline, rigid
or affine transformations are applied to roughly align the fixed and moving
images before proceeding with the deformation step. While recent learning-based
methods have shown promising results in the rigid/affine step, these methods
often require images with similar field-of-view (FOV) for successful alignment.
As a result, aligning images with different FOVs remains a challenging task.
Self-supervised landmark detection methods like self-supervised Anatomical
eMbedding (SAM) have emerged as a useful tool for mapping and cropping images
to similar FOVs. However, these methods are currently limited to intra-modality
use only. To address this limitation and enable cross-modality matching, we
propose a new approach called Cross-SAM. Our approach utilizes a novel
iterative process that alternates between embedding learning and CT-MRI
registration. We start by applying aggressive contrast augmentation on both CT
and MRI images to train a SAM model. We then use this SAM to identify
corresponding regions on paired images using robust grid-points matching,
followed by a point-set based affine/rigid registration, and a deformable
fine-tuning step to produce registered paired images. We use these registered
pairs to enhance the matching ability of SAM, which is then processed
iteratively. We use the final model for cross-modality matching tasks. We
evaluated our approach on two CT-MRI affine registration datasets and found
that Cross-SAM achieved robust affine registration on both datasets,
significantly outperforming other methods and achieving state-of-the-art
performance.
- Abstract（参考訳）: ラジオセラピストは両方のモダリティからの情報を効果的に利用するため、mr/ct画像の正確な登録を必要とする。
典型的な登録パイプラインでは、変形ステップに進む前に固定画像と動画像とを大まかに整列させるために剛体またはアフィン変換が適用される。
最近の学習に基づく手法は、剛性/ファインステップにおいて有望な結果を示しているが、これらの手法は、しばしば、アライメントを成功させるために、同様の視野(FOV)を持つ画像を必要とする。
その結果、異なるFOVと画像の整合性は依然として難しい課題である。
自己監督型解剖学的eMbedding(SAM)のような自己監督型ランドマーク検出法は、画像と類似のFOVとのマッピングとトリミングに有用なツールとして登場した。
しかし、これらの方法は現在、モダリティ内の使用のみに限られている。
この制限に対処し、モダリティ間マッチングを可能にするために、Cross-SAMと呼ばれる新しいアプローチを提案する。
提案手法は,埋め込み学習とCT-MRIの登録を交互に行う新しい反復プロセスを利用する。
まずCT画像とMRI画像にアグレッシブコントラストを付加してSAMモデルを訓練することから始める。
次に、このSAMを用いて、ロバストなグリッドポイントマッチングを用いて、対応する領域を識別し、その後、ポイントセットベースのアフィン/リグッド登録と、変形可能な微調整ステップを用いて、登録されたペア画像を生成する。
登録されたペアを用いてSAMのマッチング能力を高め、反復的に処理する。
クロスモダリティマッチングタスクには最終モデルを使用します。
我々は,2つのCT-MRIアフィン登録データセットに対するアプローチを評価し,Cross-SAMは両データセットに対してロバストなアフィン登録を実現し,他の手法よりも優れ,最先端の性能を達成した。
関連論文リスト
- SAMReg: SAM-enabled Image Registration with ROI-based Correspondence [12.163299991979574]
本稿では,医療用画像登録のための対の関心領域(ROI)に基づく新しい空間対応表現について述べる。
我々は,トレーニング(あるいはトレーニングデータ)や勾配に基づく微調整,即時的なエンジニアリングを必要としない新しい登録アルゴリズムSAMRegを開発した。
提案手法は,試験指標間でのインテンシティベース反復アルゴリズムとDDF予測学習ベースネットワークより優れている。
論文 参考訳（メタデータ） (2024-10-17T23:23:48Z) - One registration is worth two segmentations [12.163299991979574]
画像登録の目的は、2つ以上の画像間の空間的対応を確立することである。
そこで我々は,より直感的な対応表現として,対応する関心領域(ROI)ペアの集合を提案する。
提案したSAMRegは複数のROIペアのセグメンテーションとマッチングが可能であることを示す。
論文 参考訳（メタデータ） (2024-05-17T16:14:32Z) - Rotated Multi-Scale Interaction Network for Referring Remote Sensing Image Segmentation [63.15257949821558]
Referring Remote Sensing Image (RRSIS)は、コンピュータビジョンと自然言語処理を組み合わせた新しい課題である。
従来の参照画像(RIS)アプローチは、空中画像に見られる複雑な空間スケールと向きによって妨げられている。
本稿ではRMSIN(Rotated Multi-Scale Interaction Network)を紹介する。
論文 参考訳（メタデータ） (2023-12-19T08:14:14Z) - A Simple and Robust Framework for Cross-Modality Medical Image
Segmentation applied to Vision Transformers [0.0]
単一条件モデルを用いて複数モードの公平な画像分割を実現するための簡単なフレームワークを提案する。
本研究の枠組みは,マルチモーダル全心条件課題において,他のモダリティセグメンテーション手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-09T09:51:44Z) - Improving Misaligned Multi-modality Image Fusion with One-stage
Progressive Dense Registration [67.23451452670282]
多モード画像間の相違は、画像融合の課題を引き起こす。
マルチスケールプログレッシブ・センス・レジストレーション方式を提案する。
このスキームは、一段階最適化のみで粗大な登録を行う。
論文 参考訳（メタデータ） (2023-08-22T03:46:24Z) - APRF: Anti-Aliasing Projection Representation Field for Inverse Problem
in Imaging [74.9262846410559]
Sparse-view Computed Tomography (SVCT) は画像の逆問題である。
近年の研究では、インプリシット・ニューラル・リ表現(INR)を用いて、シングラムとCT画像の座標に基づくマッピングを構築している。
自己教師型SVCT再構成法の提案 -抗エイリアス射影表現場(APRF)-
APRFは空間的制約によって隣接する投影ビュー間の連続的な表現を構築することができる。
論文 参考訳（メタデータ） (2023-07-11T14:04:12Z) - Correlational Image Modeling for Self-Supervised Visual Pre-Training [81.82907503764775]
相関画像モデリング(Relational Image Modeling)は、自己監督型視覚前訓練における、新しくて驚くほど効果的なアプローチである。
3つの重要な設計は、相関画像モデリングを非自明で有意義な自己監督タスクとして実現している。
論文 参考訳（メタデータ） (2023-03-22T15:48:23Z) - Multi-scale Transformer Network with Edge-aware Pre-training for
Cross-Modality MR Image Synthesis [52.41439725865149]
クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。
既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。
マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
論文 参考訳（メタデータ） (2022-12-02T11:40:40Z) - A Hierarchical Transformation-Discriminating Generative Model for Few
Shot Anomaly Detection [93.38607559281601]
各トレーニングイメージのマルチスケールパッチ分布をキャプチャする階層的生成モデルを開発した。
この異常スコアは、スケール及び画像領域にわたる正しい変換のパッチベースの投票を集約して得られる。
論文 参考訳（メタデータ） (2021-04-29T17:49:48Z) - Unsupervised Multimodal Image Registration with Adaptative Gradient
Guidance [23.461130560414805]
教師なし学習に基づく手法は、変形可能な画像登録における精度と効率よりも有望な性能を示す。
既存の手法の予測変形場は、登録済み画像対に完全に依存する。
両モデルから推定される変形場を利用する新しい多モード登録フレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-12T05:47:20Z) - CoMIR: Contrastive Multimodal Image Representation for Registration [4.543268895439618]
我々は,CoMIR(Contrastive Multimodal Image Representations)と呼ばれる,共有された高密度画像表現を学習するためのコントラスト符号化を提案する。
CoMIRは、十分に類似した画像構造が欠如しているため、既存の登録方法がしばしば失敗するマルチモーダル画像の登録を可能にする。
論文 参考訳（メタデータ） (2020-06-11T10:51:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。