論文の概要: RetinaRegNet: A Zero-Shot Approach for Retinal Image Registration
- arxiv url: http://arxiv.org/abs/2404.16017v3
- Date: Wed, 11 Sep 2024 00:25:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 21:17:34.452528
- Title: RetinaRegNet: A Zero-Shot Approach for Retinal Image Registration
- Title(参考訳): RetinaRegNet: 網膜画像登録のためのゼロショットアプローチ
- Authors: Vishal Balaji Sivaraman, Muhammad Imran, Qingyue Wei, Preethika Muralidharan, Michelle R. Tamplin, Isabella M . Grumbach, Randy H. Kardon, Jui-Kai Wang, Yuyin Zhou, Wei Shao,
- Abstract要約: RetinaRegNetは、最小のオーバーラップ、大きな変形、さまざまな画質で網膜画像を登録するために設計されたゼロショット登録モデルである。
大規模な変形を処理するための2段階の登録フレームワークを実装した。
私たちのモデルは、すべてのデータセットで常に最先端のメソッドより優れています。
- 参考スコア(独自算出の注目度): 10.430563602981705
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We introduce RetinaRegNet, a zero-shot image registration model designed to register retinal images with minimal overlap, large deformations, and varying image quality. RetinaRegNet addresses these challenges and achieves robust and accurate registration through the following steps. First, we extract features from the moving and fixed images using latent diffusion models. We then sample feature points from the fixed image using a combination of the SIFT algorithm and random point sampling. For each sampled point, we identify its corresponding point in the moving image using a 2D correlation map, which computes the cosine similarity between the diffusion feature vectors of the point in the fixed image and all pixels in the moving image. Second, we eliminate most incorrectly detected point correspondences (outliers) by enforcing an inverse consistency constraint, ensuring that correspondences are consistent in both forward and backward directions. We further remove outliers with large distances between corresponding points using a global transformation based outlier detector. Finally, we implement a two-stage registration framework to handle large deformations. The first stage estimates a homography transformation to achieve global alignment between the images, while the second stage uses a third-order polynomial transformation to estimate local deformations. We evaluated RetinaRegNet on three retinal image registration datasets: color fundus images, fluorescein angiography images, and laser speckle flowgraphy images. Our model consistently outperformed state-of-the-art methods across all datasets. The accurate registration achieved by RetinaRegNet enables the tracking of eye disease progression, enhances surgical planning, and facilitates the evaluation of treatment efficacy. Our code is publicly available at: https://github.com/mirthAI/RetinaRegNet.
- Abstract(参考訳): RetinaRegNetは、最小オーバーラップ、大きな変形、様々な画質で網膜画像を登録するゼロショット画像登録モデルである。
RetinaRegNetはこれらの課題に対処し、以下のステップで堅牢で正確な登録を実現する。
まず、潜時拡散モデルを用いて、移動画像と固定画像の特徴を抽出する。
次に、SIFTアルゴリズムとランダム点サンプリングの組み合わせを用いて、固定画像から特徴点をサンプリングする。
各サンプル点について、2次元相関写像を用いて移動画像中の対応する点を同定し、固定画像中の点の拡散特徴ベクトルと移動画像中の全ての画素とのコサイン類似性を計算した。
第2に,逆整合制約を強制することにより,不正確な検出点対応(外接点対応)を排除し,前方方向と後方方向の両方で整合性を確保する。
さらに,大域変換に基づく外乱検出器を用いて,対応する点間の距離が大きい外乱検出器を除去する。
最後に,大規模な変形を扱うための2段階の登録フレームワークを実装した。
第1段階は画像間の大域的なアライメントを達成するためにホモグラフィ変換を推定し、第2段階は局所的な変形を推定するために3階多項式変換を使用する。
網膜画像登録データセット(カラーファンドス画像,フルオレセイン血管造影画像,レーザースペックルフローグラフィ画像)を用いてRetinaRegNetを評価した。
私たちのモデルは、すべてのデータセットで常に最先端のメソッドより優れています。
RetinaRegNetによる正確な登録は、眼疾患の進行の追跡を可能にし、手術計画を強化し、治療効果の評価を容易にする。
私たちのコードは、https://github.com/mirthAI/RetinaRegNet.comで公開されています。
関連論文リスト
- Cross-domain and Cross-dimension Learning for Image-to-Graph
Transformers [50.576354045312115]
直接画像からグラフへの変換は、単一のモデルにおけるオブジェクトの検出と関係予測を解決するための課題である。
画像-グラフ変換器のクロスドメインおよびクロス次元変換学習を可能にする一連の手法を提案する。
そこで我々は,2次元の衛星画像上でモデルを事前学習し,それを2次元および3次元の異なるターゲット領域に適用する。
論文 参考訳(メタデータ) (2024-03-11T10:48:56Z) - Unsupervised convolutional neural network fusion approach for change
detection in remote sensing images [1.892026266421264]
我々は、変化検出のための全く教師なし浅層畳み込みニューラルネットワーク(USCNN)融合アプローチを導入する。
我々のモデルには3つの特徴がある: トレーニングプロセス全体は教師なしで行われ、ネットワークアーキテクチャは浅く、目的関数はスパースである。
4つの実リモートセンシングデータセットの実験結果から,提案手法の有効性と有効性が確認された。
論文 参考訳(メタデータ) (2023-11-07T03:10:17Z) - Estimating Extreme 3D Image Rotation with Transformer Cross-Attention [13.82735766201496]
画像ペアのアクティベーションマップ間の相互アテンションを計算するために,CNN特徴マップとTransformer-Encoderを利用するクロスアテンションベースのアプローチを提案する。
一般的に使用されている画像回転データセットやベンチマークに適用した場合、現代の最先端のスキームよりも優れた性能を示すことが実験的に示されている。
論文 参考訳(メタデータ) (2023-03-05T09:07:26Z) - Adaptive Local Implicit Image Function for Arbitrary-scale
Super-resolution [61.95533972380704]
局所暗黙画像関数(LIIF)は、対応する座標を入力として、画素値が拡張される連続関数として画像を表す。
LIIFは任意のスケールの超解像タスクに適用でき、その結果、様々なアップスケーリング要因に対して単一の効率的かつ効率的なモデルが得られる。
この問題を軽減するために,新しい適応型局所像関数(A-LIIF)を提案する。
論文 参考訳(メタデータ) (2022-08-07T11:23:23Z) - Unsupervised Industrial Anomaly Detection via Pattern Generative and
Contrastive Networks [8.476686092919596]
本稿では,視覚変換器を用いた教師なし異常検出ネットワークを提案する。
階層的なタスク学習と人間の経験を利用して、その解釈可能性を高めます。
従来の最先端手法を超越した99.8%のAUCを実現した。
論文 参考訳(メタデータ) (2022-07-20T10:09:53Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳(メタデータ) (2022-04-19T10:41:09Z) - Unsupervised Domain Adaptation with Contrastive Learning for OCT
Segmentation [49.59567529191423]
本稿では,新しい未ラベル領域からのボリューム画像のセグメンテーションのための,新しい半教師付き学習フレームワークを提案する。
教師付き学習とコントラスト学習を併用し、3次元の近傍スライス間の類似性を利用したコントラストペア方式を導入する。
論文 参考訳(メタデータ) (2022-03-07T19:02:26Z) - Learning Hierarchical Graph Representation for Image Manipulation
Detection [50.04902159383709]
画像操作検出の目的は、画像内の操作された領域を特定し、特定することである。
最近のアプローチでは、画像に残っている改ざんするアーティファクトをキャプチャするために、洗練された畳み込みニューラルネットワーク(CNN)が採用されている。
本稿では2つの並列分岐からなる階層型グラフ畳み込みネットワーク(HGCN-Net)を提案する。
論文 参考訳(メタデータ) (2022-01-15T01:54:25Z) - SeqNetVLAD vs PointNetVLAD: Image Sequence vs 3D Point Clouds for
Day-Night Place Recognition [31.714928102950594]
位置認識は移動ロボットのローカライゼーションとナビゲーションにとって重要な機能である。
逐次表現に基づく最近のVPR手法は有望な結果を示した。
我々は,3次元点クラウド法と画像シーケンス法を比較した。
論文 参考訳(メタデータ) (2021-06-22T02:05:32Z) - DeepI2P: Image-to-Point Cloud Registration via Deep Classification [71.3121124994105]
DeepI2Pは、イメージとポイントクラウドの間のクロスモダリティ登録のための新しいアプローチです。
本手法は,カメラとライダーの座標フレーム間の相対的剛性変換を推定する。
登録問題を分類および逆カメラ投影最適化問題に変換することで難易度を回避する。
論文 参考訳(メタデータ) (2021-04-08T04:27:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。