論文の概要: A robust and interpretable deep learning framework for multi-modal
registration via keypoints
- arxiv url: http://arxiv.org/abs/2304.09941v1
- Date: Wed, 19 Apr 2023 19:35:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-21 15:16:05.815513
- Title: A robust and interpretable deep learning framework for multi-modal
registration via keypoints
- Title（参考訳）: キーポイントによるマルチモーダル登録のための頑健で解釈可能なディープラーニングフレームワーク
- Authors: Alan Q. Wang, Evan M. Yu, Adrian V. Dalca, Mert R. Sabuncu
- Abstract要約: ディープラーニングベースの画像登録フレームワークであるKeyMorphを紹介する。
KeyMorphは対応するキーポイントを自動的に検出する。
我々は現在の最先端手法を超越した登録精度を示す。
- 参考スコア（独自算出の注目度）: 17.415937218905125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present KeyMorph, a deep learning-based image registration framework that
relies on automatically detecting corresponding keypoints. State-of-the-art
deep learning methods for registration often are not robust to large
misalignments, are not interpretable, and do not incorporate the symmetries of
the problem. In addition, most models produce only a single prediction at
test-time. Our core insight which addresses these shortcomings is that
corresponding keypoints between images can be used to obtain the optimal
transformation via a differentiable closed-form expression. We use this
observation to drive the end-to-end learning of keypoints tailored for the
registration task, and without knowledge of ground-truth keypoints. This
framework not only leads to substantially more robust registration but also
yields better interpretability, since the keypoints reveal which parts of the
image are driving the final alignment. Moreover, KeyMorph can be designed to be
equivariant under image translations and/or symmetric with respect to the input
image ordering. Finally, we show how multiple deformation fields can be
computed efficiently and in closed-form at test time corresponding to different
transformation variants. We demonstrate the proposed framework in solving 3D
affine and spline-based registration of multi-modal brain MRI scans. In
particular, we show registration accuracy that surpasses current
state-of-the-art methods, especially in the context of large displacements. Our
code is available at https://github.com/evanmy/keymorph.
- Abstract（参考訳）: 我々は,キーポイントの自動検出に依存するディープラーニングベースの画像登録フレームワークであるkeymorphを提案する。
最新の最先端のディープラーニング手法は、しばしば大きなミスアライメントに対して堅牢ではなく、解釈不可能であり、問題の対称性を組み込んでいない。
さらに、ほとんどのモデルはテスト時に単一の予測しか生成しない。
これらの欠点に対処する中核的な洞察は、画像間の対応するキーポイントを使用して、微分可能な閉形式表現を通じて最適な変換を得ることができることである。
この観察により,登録作業に適したキーポイントをエンド・ツー・エンドで学習し,基幹鍵ポイントの知識を欠くことなく学習する。
このフレームワークは、より堅牢な登録につながるだけでなく、画像のどの部分が最終アライメントを駆動しているかがキーポイントによって明らかにされるため、解釈性も向上する。
さらに、KeyMorphは、入力画像の順序付けに関して、画像翻訳および/または対称の下で同変するように設計することができる。
最後に,複数変形場を異なる変形変種に対応する試験時間における閉形式で効率的に計算する方法を示す。
マルチモーダル脳MRIスキャンの3Dアフィンとスプラインによる登録を解くためのフレームワークを提案する。
特に,現在最先端の手法を超越した登録精度を,特に大規模変位の文脈で示す。
私たちのコードはhttps://github.com/evanmy/keymorph.comで利用可能です。
関連論文リスト
- MsMorph: An Unsupervised pyramid learning network for brain image registration [4.000367245594772]
MsMorphは、イメージペアを登録する手動プロセスの模倣を目的とした、イメージ登録フレームワークである。
異なるスケールで意味情報をデコードし、予測された変形場に対して連続的に合成する。
提案手法は,画像ペアとその近傍の異なる領域に着目し,手動による登録手法をシミュレートする。
論文 参考訳（メタデータ） (2024-10-23T19:20:57Z) - Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。
我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。
我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
論文 参考訳（メタデータ） (2023-11-30T13:22:15Z) - With a Little Help from your own Past: Prototypical Memory Networks for
Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。
私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。
本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文 参考訳（メタデータ） (2023-08-23T18:53:00Z) - Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural
Network [52.29330138835208]
画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。
従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。
本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
論文 参考訳（メタデータ） (2023-07-04T02:50:44Z) - Breaking Modality Disparity: Harmonized Representation for Infrared and
Visible Image Registration [66.33746403815283]
シーン適応型赤外線と可視画像の登録を提案する。
我々は、異なる平面間の変形をシミュレートするためにホモグラフィーを用いる。
我々は、まず、赤外線と可視画像のデータセットが不一致であることを示す。
論文 参考訳（メタデータ） (2023-04-12T06:49:56Z) - Anatomy-aware and acquisition-agnostic joint registration with SynthMorph [6.017634371712142]
アフィン画像登録は、医用画像解析の基盤となっている。
ディープラーニング(DL)メソッドは、画像対を出力変換にマッピングする関数を学ぶ。
ほとんどのアフィン法は、ユーザが調整したい解剖学に依存しない。つまり、アルゴリズムが画像のすべての構造を考慮すれば、登録は不正確なものになる。
われわれはこれらの欠点をSynthMorphで解決する。これは高速で対称で、微分型で使い易いDLツールで、任意の脳画像の関節アフィン変形性登録を行う。
論文 参考訳（メタデータ） (2023-01-26T18:59:33Z) - Non-iterative Coarse-to-fine Registration based on Single-pass Deep
Cumulative Learning [11.795108660250843]
変形可能な画像登録のための非Iterative Coarse-to-finE登録ネットワーク(NICE-Net)を提案する。
NICE-Netは、非イテレーティブメソッドと同じようなランタイムしか必要とせず、最先端の反復的な深層登録手法より優れている。
論文 参考訳（メタデータ） (2022-06-25T08:34:59Z) - Self-Supervised Equivariant Learning for Oriented Keypoint Detection [35.94215211409985]
我々は、回転同変CNNを用いた自己教師付き学習フレームワークを導入し、ロバスト指向キーポイントの検出を学習する。
ヒストグラムに基づく配向マップのトレーニングのために,合成変換により生成した画像対による高密度配向損失を提案する。
提案手法は,画像マッチングベンチマークとカメラポーズ推定ベンチマークにおいて,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2022-04-19T02:26:07Z) - A Learning Framework for Diffeomorphic Image Registration based on
Quasi-conformal Geometry [1.2891210250935146]
本稿では,非教師付き学習フレームワークである準コンフォーマル登録ネットワーク(QCRegNet)を提案する。
QCRegNetは推定器ネットワークとベルトラミソルバネットワーク(BSNet)から構成される
その結果、登録精度は最先端の手法に匹敵し、微分同相性はかなり保証されていることがわかった。
論文 参考訳（メタデータ） (2021-10-20T14:23:24Z) - Shape My Face: Registering 3D Face Scans by Surface-to-Surface
Translation [75.59415852802958]
Shape-My-Face (SMF) は、改良されたポイントクラウドエンコーダ、新しい視覚的注意機構、スキップ接続付きグラフ畳み込みデコーダ、特殊口モデルに基づく強力なエンコーダデコーダアーキテクチャである。
私たちのモデルは、トポロジカルにサウンドメッシュを最小限の監視で提供し、より高速なトレーニング時間を提供し、訓練可能なパラメータを桁違いに減らし、ノイズに強く、以前は見られないデータセットに一般化することができます。
論文 参考訳（メタデータ） (2020-12-16T20:02:36Z) - Recurrent Multi-view Alignment Network for Unsupervised Surface
Registration [79.72086524370819]
非厳格な登録をエンドツーエンドで学習することは、本質的に高い自由度とラベル付きトレーニングデータの欠如により困難である。
我々は、いくつかの剛性変換のポイントワイドな組み合わせで、非剛性変換を表現することを提案する。
また,投影された多視点2次元深度画像上での3次元形状の類似度を計測する可微分損失関数も導入する。
論文 参考訳（メタデータ） (2020-11-24T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。