論文の概要: Register Anything: Estimating "Corresponding Prompts" for Segment Anything Model
- arxiv url: http://arxiv.org/abs/2508.01697v1
- Date: Sun, 03 Aug 2025 10:00:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-05 18:25:22.015935
- Title: Register Anything: Estimating "Corresponding Prompts" for Segment Anything Model
- Title(参考訳): Register Anything:セグメンテーションモデルに対する"Cor correspondinging Prompts"の推定
- Authors: Shiqi Huang, Tingfa Xu, Wen Yan, Dean Barratt, Yipeng Hu,
- Abstract要約: 本稿では,複数対の対応するROIを識別する新しい登録アルゴリズムを提案する。
Diceや解剖学的構造上のターゲット登録エラーなどの指標に基づいて、提案された登録は、強度に基づく反復アルゴリズムと学習に基づくDDF予測ネットワークの両方より優れている。
- 参考スコア(独自算出の注目度): 10.548119506549998
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Establishing pixel/voxel-level or region-level correspondences is the core challenge in image registration. The latter, also known as region-based correspondence representation, leverages paired regions of interest (ROIs) to enable regional matching while preserving fine-grained capability at pixel/voxel level. Traditionally, this representation is implemented via two steps: segmenting ROIs in each image then matching them between the two images. In this paper, we simplify this into one step by directly "searching for corresponding prompts", using extensively pre-trained segmentation models (e.g., SAM) for a training-free registration approach, PromptReg. Firstly, we introduce the "corresponding prompt problem", which aims to identify a corresponding Prompt Y in Image Y for any given visual Prompt X in Image X, such that the two respectively prompt-conditioned segmentations are a pair of corresponding ROIs from the two images. Secondly, we present an "inverse prompt" solution that generates primary and optionally auxiliary prompts, inverting Prompt X into the prompt space of Image Y. Thirdly, we propose a novel registration algorithm that identifies multiple paired corresponding ROIs by marginalizing the inverted Prompt X across both prompt and spatial dimensions. Comprehensive experiments are conducted on five applications of registering 3D prostate MR, 3D abdomen MR, 3D lung CT, 2D histopathology and, as a non-medical example, 2D aerial images. Based on metrics including Dice and target registration errors on anatomical structures, the proposed registration outperforms both intensity-based iterative algorithms and learning-based DDF-predicting networks, even yielding competitive performance with weakly-supervised approaches that require fully-segmented training data.
- Abstract(参考訳): ピクセル/ボクセルレベルまたは領域レベルの対応を確立することは、画像登録における中核的な課題である。
後者は、領域ベースの対応表現としても知られ、興味のある2つの領域(ROI)を活用して、ピクセル/ボクセルレベルできめ細かい能力を保ちながら、局所的なマッチングを可能にする。
伝統的に、この表現は2つのステップによって実装されている。
本稿では、トレーニング不要な登録手法であるPromptRegに対して、広範囲に事前訓練されたセグメンテーションモデル(例:SAM)を用いて、直接「対応するプロンプトを探す」ことで、これを1ステップに単純化する。
まず,画像 X の任意の視覚的プロンプト X に対して,画像 Y の対応するプロンプト Y を識別することを目的とした「対応的プロンプト問題」を導入する。
第2に,プライマリおよび任意の補助的なプロンプトを生成する「逆プロンプト」ソリューションを提案し,プロンプトXを画像Yのプロンプト空間に反転させる。
3D前立腺MRI,3D腹部MRI,3D肺CT,2D病理,非医学的例である2D空中画像の5つの応用について総合的な実験を行った。
Diceと解剖学的構造上のターゲット登録エラーを含むメトリクスに基づいて、提案された登録は、強度に基づく反復アルゴリズムと学習に基づくDFF予測ネットワークの両方を上回り、完全にセグメンテーションされたトレーニングデータを必要とする弱い教師付きアプローチと競合するパフォーマンスを得る。
関連論文リスト
- Robust and Accurate Multi-view 2D/3D Image Registration with Differentiable X-ray Rendering and Dual Cross-view Constraints [45.57808049168089]
2段階からなる新しい多視点2D/3D剛性登録手法を提案する。
第1段階では、予測と地味の両相の相違を取り入れた複合損失関数が設計される。
第2段階では、粗い段階から推定されたポーズを洗練するために、テスト時間最適化を行う。
論文 参考訳(メタデータ) (2025-06-27T12:57:58Z) - Tell2Reg: Establishing spatial correspondence between images by the same language prompts [7.064676360230362]
2つの異なる画像上で同じ言語プロンプトで対応する領域ペアを予測可能であることを示す。
これにより、完全に自動化され、トレーニング不要な登録アルゴリズムが実現される。
Tell2Regはトレーニング不要で、データキュレーションとラベル付けのコストと時間のかかる必要がなくなる。
論文 参考訳(メタデータ) (2025-02-05T12:25:02Z) - SketchYourSeg: Mask-Free Subjective Image Segmentation via Freehand Sketches [116.1810651297801]
SketchYourSegは、主観的なイメージセグメンテーションのための強力なクエリモダリティとして、フリーハンドスケッチを確立している。
我々の評価は、様々なベンチマークで既存のアプローチよりも優れた性能を示している。
論文 参考訳(メタデータ) (2025-01-27T13:07:51Z) - SAMReg: SAM-enabled Image Registration with ROI-based Correspondence [12.163299991979574]
本稿では,医療用画像登録のための対の関心領域(ROI)に基づく新しい空間対応表現について述べる。
我々は,トレーニング(あるいはトレーニングデータ)や勾配に基づく微調整,即時的なエンジニアリングを必要としない新しい登録アルゴリズムSAMRegを開発した。
提案手法は,試験指標間でのインテンシティベース反復アルゴリズムとDDF予測学習ベースネットワークより優れている。
論文 参考訳(メタデータ) (2024-10-17T23:23:48Z) - One registration is worth two segmentations [12.163299991979574]
画像登録の目的は、2つ以上の画像間の空間的対応を確立することである。
そこで我々は,より直感的な対応表現として,対応する関心領域(ROI)ペアの集合を提案する。
提案したSAMRegは複数のROIペアのセグメンテーションとマッチングが可能であることを示す。
論文 参考訳(メタデータ) (2024-05-17T16:14:32Z) - Unify, Align and Refine: Multi-Level Semantic Alignment for Radiology
Report Generation [48.723504098917324]
マルチレベル・クロスモーダルアライメントを学習するためのUnify, Align, then Refine (UAR)アプローチを提案する。
本稿では,Latent Space Unifier,Cross-modal Representation Aligner,Text-to-Image Refinerの3つの新しいモジュールを紹介する。
IU-XrayおよびMIMIC-CXRベンチマークデータセットの実験と解析は、UARの様々な最先端手法に対する優位性を実証している。
論文 参考訳(メタデータ) (2023-03-28T12:42:12Z) - Image Understands Point Cloud: Weakly Supervised 3D Semantic
Segmentation via Association Learning [59.64695628433855]
ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。
基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。
提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
論文 参考訳(メタデータ) (2022-09-16T07:59:04Z) - CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence [51.91791056908387]
我々は,CorrI2Pと呼ばれる画像間クラウドの登録問題に対処するための,機能に基づく最初の高密度対応フレームワークを提案する。
具体的には、3次元の点雲の前に2次元画像が1対あるとすると、まずそれらを高次元の特徴空間に変換し、特徴を対称的に重なり合う領域に変換して、画像点雲が重なり合う領域を決定する。
論文 参考訳(メタデータ) (2022-07-12T11:49:31Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳(メタデータ) (2022-04-19T10:41:09Z) - JSSR: A Joint Synthesis, Segmentation, and Registration System for 3D
Multi-Modal Image Alignment of Large-scale Pathological CT Scans [27.180136688977512]
本稿では,エンドツーエンドの3D畳み込みニューラルネットワークに基づく新しいマルチタスク学習システムJSSRを提案する。
システムは、教師なしの方法で異なるタスク間の暗黙の制約を満たすように最適化されている。
従来型のマルチモーダル登録法よりも一貫して優れています。
論文 参考訳(メタデータ) (2020-05-25T16:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。