論文の概要: Manifold Embedding of Deep Image Features for Image Matching via Neural Adjoint Maps
- arxiv url: http://arxiv.org/abs/2611.05083v1
- Date: Tue, 03 Nov 2026 15:42:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 14:37:21.887098
- Title: Manifold Embedding of Deep Image Features for Image Matching via Neural Adjoint Maps
- Title(参考訳): ニューラル・アジョイント・マップを用いた画像マッチングのための深部画像特徴のマニフォールド埋め込み
- Abstract要約: 実世界の画像における意味的対応を推定することは、コンピュータビジョンにおける根本的な課題である。
我々は3次元形状マッチングのために普及した関数写像による画像マッチングに取り組む。
深部画像特徴の埋め込みに基づく離散的なラプラス・ベルトラミ作用素を導出する。
- 参考スコア(独自算出の注目度): 25.189088045274133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating semantic correspondences between different object instances of similar categories in real-world images is a fundamental challenge in computer vision. While the recent progress in foundation models has significantly advanced solutions for such difficult image correspondence problems, respective methods are often insufficiently regularised. For example, common nearest-neighbour matching with foundation model features often results in noisy correspondences, which is particularly prominent when solving for dense correspondences. In this work, we tackle image matching via functional maps, which have been popularised for 3D shape matching due to their powerful spectral formalism utilising an efficient low-dimensional linear representation. However, functional maps require that domains (in our cases the rectangular image grids) are equipped with an informative and non-trivial geometry. To define a meaningful manifold structure for images, we use Galerkin's method from finite elements to derive a discrete Laplace-Beltrami operator (LBO) based on a manifold embedding of deep image features. Further, we leverage a neural adjoint map that allows to represent non-linear mappings. We demonstrate that our method sets the new state of the art among zero-shot image correspondence methods on multiple dense correspondence benchmarks of real-world images. Our code is publicly available: https://github.com/NafieAmrani/NAMI
- Abstract(参考訳): 実世界の画像における類似カテゴリの異なるオブジェクトインスタンス間の意味的対応を推定することは、コンピュータビジョンにおける根本的な課題である。
基礎モデルの最近の進歩は、このような難解な画像対応問題の解法が著しく進歩しているが、それぞれの手法は、しばしば不十分に正規化されている。
例えば、基礎モデルの特徴と最も近い近傍の共通マッチングは、しばしばノイズ対応をもたらすが、これは密度の高い対応を解く際に特に顕著である。
本研究では, 効率的な低次元線形表現を用いたスペクトル定式化により, 3次元形状マッチングのために一般化された関数写像による画像マッチングに取り組む。
しかし、関数写像は(この場合の矩形画像格子)領域に情報的かつ非自明な幾何学が備わっていることを要求する。
画像に対する有意義な多様体構造を定義するために、Galerkinの手法を有限要素から利用して、深部画像特徴の埋め込みを基礎とした離散ラプラス・ベルトラミ作用素(LBO)を導出する。
さらに、非線形写像を表現できるニューラルネットワークの随伴写像を利用する。
本手法は, 実世界の画像の高密度対応ベンチマークにおいて, ゼロショット画像対応法とゼロショット画像対応法の間に, 新たな現状を設定できることを実証する。
私たちのコードは、https://github.com/NafieAmrani/NAMIで公開されています。
関連論文リスト
- Online Learning of Correspondences between Images [15.703640102714871]
本稿では,画像列間の点対応を学習するための新しい手法を提案する。
密度間のカイ二乗の偏差に基づく写像を最適化する手法を導出する。
結果のアルゴリズムはリアルタイムに動作し、収束と精度の点で最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2026-08-13T11:30:29Z) - Self-Supervised Spatial Correspondence Across Modalities [17.50529887238381]
本稿では,モーダルな時空間対応を見つける方法を提案する。
RGB画像と深度マップのような2つの画像が与えられた場合、このモデルでは、どのピクセルがシーン内の同じ物理点に対応するかを特定する。
論文 参考訳(メタデータ) (2025-06-03T17:59:45Z) - SMLNet: A SPD Manifold Learning Network for Infrared and Visible Image Fusion [60.18614468818683]
マルチモーダル画像融合のための新しいSPD(対称正定値)多様体学習を提案する。
我々のフレームワークは現在の最先端手法と比較して優れた性能を示す。
論文 参考訳(メタデータ) (2024-11-16T03:09:49Z) - Zero-Shot Image Feature Consensus with Deep Functional Maps [20.988872402347756]
より優れた対応戦略が利用可能であることを示し,対応フィールドに直接構造を課す関数写像について述べる。
提案手法は,学習対象の大規模視覚モデルに埋め込まれた知識をよりよく反映し,よりスムーズなだけでなく,より正確に対応できることを示す。
論文 参考訳(メタデータ) (2024-03-18T17:59:47Z) - Zero-Shot 3D Shape Correspondence [67.18775201037732]
本稿では,3次元形状間の対応性を計算するためのゼロショット手法を提案する。
我々は、最近の基礎モデルの言語と視覚における例外的な推論能力を活用している。
提案手法は, 強い非等尺形状の間において, ゼロショット方式で高確率な結果をもたらす。
論文 参考訳(メタデータ) (2023-06-05T21:14:23Z) - Geo-SIC: Learning Deformable Geometric Shapes in Deep Image Classifiers [8.781861951759948]
本稿では,画像分類の性能向上のために,変形空間における変形可能な形状を学習する最初のディープラーニングモデルGeo-SICを提案する。
画像空間と潜時形状空間の両方から特徴を同時に導出する,クラス内変動の大きい新設計のフレームワークを提案する。
幾何学的形状表現の教師なし学習を取り入れた強化型分類網を開発した。
論文 参考訳(メタデータ) (2022-10-25T01:55:17Z) - Graph Sampling Based Deep Metric Learning for Generalizable Person
Re-Identification [114.56752624945142]
我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。
大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
論文 参考訳(メタデータ) (2021-04-04T06:44:15Z) - Joint Deep Multi-Graph Matching and 3D Geometry Learning from
Inhomogeneous 2D Image Collections [57.60094385551773]
非均質な画像コレクションから変形可能な3Dジオメトリモデルを学ぶためのトレーニング可能なフレームワークを提案する。
さらに,2次元画像で表現された物体の3次元形状も取得する。
論文 参考訳(メタデータ) (2021-03-31T17:25:36Z) - Continuous Surface Embeddings [76.86259029442624]
我々は、変形可能な対象カテゴリーにおける密接な対応を学習し、表現するタスクに焦点をあてる。
本稿では,高密度対応の新たな学習可能な画像ベース表現を提案する。
提案手法は,人間の身近なポーズ推定のための最先端手法と同等以上の性能を示すことを示す。
論文 参考訳(メタデータ) (2020-11-24T22:52:15Z) - Simplicial Complex based Point Correspondence between Images warped onto
Manifolds [18.528929583956725]
単体錯体の各p-骨格に適合する制約付き二次代入問題(QAP)を提案する。
我々は,多様なデータセットのセットにおいて,既存の最先端の球面マッチング手法を大幅に上回る結果を得た。
論文 参考訳(メタデータ) (2020-07-05T16:41:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。