論文の概要: Unlocking Zero-shot Potential of Semi-dense Image Matching via Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2511.21265v1
- Date: Wed, 26 Nov 2025 10:43:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-27 18:37:59.066178
- Title: Unlocking Zero-shot Potential of Semi-dense Image Matching via Gaussian Splatting
- Title（参考訳）: ガウススプラッティングによる半密度画像マッチングのゼロショット電位のアンロック
- Authors: Juncheng Chen, Chao Xu, Yanjun Cao,
- Abstract要約: MatchGSは、3DGSを堅牢でゼロショットの画像マッチングに活用するためのフレームワークである。
提案手法は,(1)高精度な対応ラベルを生成するために3DGS形状を改良する幾何学的に忠実なデータ生成パイプライン,(2)3DGSの明示的な3D知識を2Dマーカに注入する2D-3D表現アライメント戦略である。
生成した地中構造対応は,既存のデータセットに比べて最大40倍の誤差を減少させる。
- 参考スコア（独自算出の注目度）: 20.039403558110354
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning-based image matching critically depends on large-scale, diverse, and geometrically accurate training data. 3D Gaussian Splatting (3DGS) enables photorealistic novel-view synthesis and thus is attractive for data generation. However, its geometric inaccuracies and biased depth rendering currently prevent robust correspondence labeling. To address this, we introduce MatchGS, the first framework designed to systematically correct and leverage 3DGS for robust, zero-shot image matching. Our approach is twofold: (1) a geometrically-faithful data generation pipeline that refines 3DGS geometry to produce highly precise correspondence labels, enabling the synthesis of a vast and diverse range of viewpoints without compromising rendering fidelity; and (2) a 2D-3D representation alignment strategy that infuses 3DGS' explicit 3D knowledge into the 2D matcher, guiding 2D semi-dense matchers to learn viewpoint-invariant 3D representations. Our generated ground-truth correspondences reduce the epipolar error by up to 40 times compared to existing datasets, enable supervision under extreme viewpoint changes, and provide self-supervisory signals through Gaussian attributes. Consequently, state-of-the-art matchers trained solely on our data achieve significant zero-shot performance gains on public benchmarks, with improvements of up to 17.7%. Our work demonstrates that with proper geometric refinement, 3DGS can serve as a scalable, high-fidelity, and structurally-rich data source, paving the way for a new generation of robust zero-shot image matchers.
- Abstract（参考訳）: 学習ベースの画像マッチングは、大規模で多様で幾何学的に正確なトレーニングデータに依存する。
3D Gaussian Splatting (3DGS) はフォトリアリスティックなノベルビュー合成を可能にするため、データ生成に魅力的である。
しかし、その幾何学的不正確さとバイアスドディープレンダリングは、現在、ロバストな対応ラベリングを妨げている。
そこで我々は、3DGSを体系的に修正・活用する最初のフレームワークであるMatchGSを紹介した。
提案手法は,(1)高精細な対応ラベルを生成するために3DGS幾何学を洗練し,レンダリングの精度を損なうことなく多種多様な視点の合成を可能にする幾何学的データ生成パイプライン,(2)3DGSの明快な3D知識を2Dマッターに注入する2D-3D表示アライメント戦略により,視点不変な3D表現の学習を誘導する。
我々の生成した地中構造対応は、既存のデータセットと比較して最大40倍の極性誤差を低減し、極端な視点変化の下での監視を可能にし、ガウス属性による自己監督信号を提供する。
その結果、我々のデータにのみ訓練された最先端のマッカーは、公開ベンチマークで大きなゼロショットのパフォーマンス向上を達成し、最大17.7%の改善が達成された。
我々の研究は、適切な幾何学的洗練により、3DGSがスケーラブルで高忠実で構造的にリッチなデータソースとして機能し、新しい世代のゼロショット画像マーカの道を開くことを実証している。
関連論文リスト
- Joint Semantic and Rendering Enhancements in 3D Gaussian Modeling with Anisotropic Local Encoding [86.55824709875598]
本稿では,セマンティックとレンダリングの両方を相乗化する3次元セマンティックガウスモデリングのための統合拡張フレームワークを提案する。
従来の点雲形状符号化とは異なり、細粒度3次元形状を捉えるために異方性3次元ガウシアン・チェビシェフ記述子を導入する。
我々は、学習した形状パターンを継続的に更新するために、クロスシーンの知識伝達モジュールを使用し、より高速な収束と堅牢な表現を可能にします。
論文 参考訳（メタデータ） (2026-01-05T18:33:50Z) - GVSynergy-Det: Synergistic Gaussian-Voxel Representations for Multi-View 3D Object Detection [18.809986709717446]
画像に基づく3Dオブジェクト検出は、RGB画像のみを使用して3D空間内のオブジェクトを識別およびローカライズすることを目的としている。
既存の画像ベースのアプローチは、2つの重要な課題に直面している。
本稿では,GVSynergy-Detを提案する。GVSynergy-Detは,相乗的ガウス・ボクセル表現学習による3次元検出を強化するフレームワークである。
論文 参考訳（メタデータ） (2025-12-29T03:34:39Z) - GauSSmart: Enhanced 3D Reconstruction through 2D Foundation Models and Geometric Filtering [50.675710727721786]
2次元基礎モデルと3次元ガウススプラッティング再構成をブリッジするハイブリッド手法であるGauSSmartを提案する。
提案手法は,凸フィルタリングや意味的特徴監視など,確立した2次元コンピュータビジョン技術を統合している。
GauSSmartは既存のGaussian Splattingよりも一貫して優れています。
論文 参考訳（メタデータ） (2025-10-16T03:38:26Z) - EG-Gaussian: Epipolar Geometry and Graph Network Enhanced 3D Gaussian Splatting [9.94641948288285]
EG-Gaussianは3次元シーン再構成にエピポーラ幾何学とグラフネットワークを利用する。
提案手法は3DGS法と比較して再構成精度を著しく向上させる。
論文 参考訳（メタデータ） (2025-04-18T08:10:39Z) - Interpretable Single-View 3D Gaussian Splatting using Unsupervised Hierarchical Disentangled Representation Learning [46.85417907244265]
本稿では,粗い3Dセマンティクスと微粒な3Dセマンティクスの両方を発見するために,3DisGSと呼ばれる解釈可能な単一ビュー3DGSフレームワークを提案する。
本モデルでは,高品質かつ高速な再構成を保ちながら3次元のアンタングル化を実現する。
論文 参考訳（メタデータ） (2025-04-05T14:42:13Z) - GEAL: Generalizable 3D Affordance Learning with Cross-Modal Consistency [50.11520458252128]
既存の3Dアベイランス学習手法は、注釈付きデータに制限があるため、一般化と堅牢性に苦慮している。
本稿では,大規模事前学習型2Dモデルを活用することで,3次元アベイランス学習の一般化と堅牢性を高めるための新しいフレームワークであるGEALを提案する。
GEALは、既存のメソッドと、新しいオブジェクトカテゴリ、および破損したデータにおいて、一貫して優れています。
論文 参考訳（メタデータ） (2024-12-12T17:59:03Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - GeoGS3D: Single-view 3D Reconstruction via Geometric-aware Diffusion Model and Gaussian Splatting [81.03553265684184]
単視点画像から詳細な3Dオブジェクトを再構成するフレームワークであるGeoGS3Dを紹介する。
本稿では,GDS(Gaussian Divergence Significance)という新しい指標を提案する。
実験により、GeoGS3Dはビュー間で高い一貫性を持つ画像を生成し、高品質な3Dオブジェクトを再構成することを示した。
論文 参考訳（メタデータ） (2024-03-15T12:24:36Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z) - LFM-3D: Learnable Feature Matching Across Wide Baselines Using 3D
Signals [9.201550006194994]
学習可能なマーカは、画像ペア間のコビジュアビリティの小さな領域だけが存在する場合、しばしば性能が低下する。
グラフニューラルネットワークに基づくモデルを用いた学習可能な特徴マッチングフレームワーク LFM-3D を提案する。
その結果,画像対の相対的ポーズ精度が向上し,画像対の相対的ポーズ精度が向上することがわかった。
論文 参考訳（メタデータ） (2023-03-22T17:46:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。