論文の概要: LiftFeat: 3D Geometry-Aware Local Feature Matching

• arxiv url: http://arxiv.org/abs/2505.03422v1
• Date: Tue, 06 May 2025 10:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.342051
• Title: LiftFeat: 3D Geometry-Aware Local Feature Matching
• Title（参考訳）: LiftFeat: 局所的な特徴マッチングを意識した3D幾何学
• Authors: Yepeng Liu, Wenpeng Lai, Zhou Zhao, Yuxuan Xiong, Jinchi Zhu, Jun Cheng, Yongchao Xu,
• Abstract要約: 我々は,3次元幾何学的特徴を集約することにより,生記述子の堅牢性を高める,textitLiftFeatという軽量ネットワークを提案する。 次に,3次元形状認識機能持ち上げモジュールを設計し,表面の通常の特徴を生の2次元記述子特徴と融合させる。
• 参考スコア（独自算出の注目度）: 47.63255167402022
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust and efficient local feature matching plays a crucial role in applications such as SLAM and visual localization for robotics. Despite great progress, it is still very challenging to extract robust and discriminative visual features in scenarios with drastic lighting changes, low texture areas, or repetitive patterns. In this paper, we propose a new lightweight network called \textit{LiftFeat}, which lifts the robustness of raw descriptor by aggregating 3D geometric feature. Specifically, we first adopt a pre-trained monocular depth estimation model to generate pseudo surface normal label, supervising the extraction of 3D geometric feature in terms of predicted surface normal. We then design a 3D geometry-aware feature lifting module to fuse surface normal feature with raw 2D descriptor feature. Integrating such 3D geometric feature enhances the discriminative ability of 2D feature description in extreme conditions. Extensive experimental results on relative pose estimation, homography estimation, and visual localization tasks, demonstrate that our LiftFeat outperforms some lightweight state-of-the-art methods. Code will be released at : https://github.com/lyp-deeplearning/LiftFeat.
• Abstract（参考訳）: ロバストで効率的な局所的特徴マッチングは、SLAMやロボット工学の視覚的ローカライゼーションといったアプリケーションにおいて重要な役割を果たす。 大きな進歩にもかかわらず、劇的な照明の変化、低いテクスチャ領域、反復的なパターンを持つシナリオにおいて、堅牢で差別的な視覚的特徴を抽出することは依然として非常に困難である。 本稿では,3次元幾何学的特徴を集約することにより,生記述子の堅牢性を高める軽量ネットワーク「textit{LiftFeat}」を提案する。 具体的には、まず、事前学習した単眼深度推定モデルを用いて擬似表面正規ラベルを生成し、予測表面正規度の観点から3次元幾何学的特徴の抽出を監督する。 次に,3次元形状認識機能持ち上げモジュールを設計し,表面の通常の特徴を生の2次元記述子特徴と融合させる。 このような3次元幾何学的特徴を統合することで、極端な条件下での2次元特徴記述の識別能力が向上する。 相対的なポーズ推定、ホモグラフィー推定、視覚的位置決めタスクに関する大規模な実験結果は、LiftFeatがいくつかの軽量な最先端手法より優れていることを示している。 コードはhttps://github.com/lyp-deeplearning/LiftFeat.orgでリリースされる。

関連論文リスト

• Lift3D Foundation Policy: Lifting 2D Large-Scale Pretrained Models for Robust 3D Robotic Manipulation [30.744137117668643]
  Lift3Dは、ロバストな3D操作ポリシーを構築するために、暗黙的で明示的な3Dロボット表現で2Dファンデーションモデルを強化するフレームワークである。 実験では、Lift3Dはいくつかのシミュレーションベンチマークや実世界のシナリオで、最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-11-27T18:59:52Z)
• GeoLRM: Geometry-Aware Large Reconstruction Model for High-Quality 3D Gaussian Generation [65.33726478659304]
  GeoLRM(Geometry-Aware Large Restruction Model)は、512kガウスと21の入力画像で11GBのGPUメモリで高品質な資産を予測できる手法である。 従来の作品では、3D構造の本質的な空間性は無視されており、3D画像と2D画像の間の明示的な幾何学的関係は利用されていない。 GeoLRMは、3Dポイントを直接処理し、変形可能なクロスアテンション機構を使用する新しい3D対応トランスフォーマー構造を導入することで、これらの問題に対処する。
  論文  参考訳（メタデータ） (2024-06-21T17:49:31Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [111.16358607889609]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Learning Occupancy for Monocular 3D Object Detection [25.56336546513198]
  モノクローナル3次元検出のための占有度学習法であるtextbfOccupancy M3D を提案する。 フラストムと3D空間の占有を直接学習し、より差別的で情報的な3D特徴や表現をもたらす。 KITTIとオープンデータセットの実験により,提案手法が新たな最先端技術を実現し,他の手法をはるかに上回っていることが示された。
  論文  参考訳（メタデータ） (2023-05-25T04:03:46Z)
• Flattening-Net: Deep Regular 2D Representation for 3D Point Cloud Analysis [66.49788145564004]
  我々は、任意の幾何学と位相の不規則な3次元点雲を表現するために、Flattning-Netと呼ばれる教師なしのディープニューラルネットワークを提案する。 我々の手法は、現在の最先端の競合相手に対して好意的に機能する。
  論文  参考訳（メタデータ） (2022-12-17T15:05:25Z)
• Cuboids Revisited: Learning Robust 3D Shape Fitting to Single RGB Images [44.223070672713455]
  特に、人為的な環境は、一般的にキュービドやシリンダーのようなボリュームプリミティブから成り立っている。 従来のアプローチでは、2Dまたは3D入力から直接形状パラメータを推定し、単純なオブジェクトのみを再現できる。 立方体を用いた実世界の環境を有意義に抽象化するプリミティブフィッティングのための堅牢な推定器を提案する。
  論文  参考訳（メタデータ） (2021-05-05T13:36:00Z)
• D3Feat: Joint Learning of Dense Detection and Description of 3D Local Features [51.04841465193678]
  私たちは3Dポイントクラウドに3D完全畳み込みネットワークを活用しています。 本稿では,3次元点ごとに検出スコアと記述特徴の両方を密に予測する,新しい,実践的な学習機構を提案する。 本手法は,屋内と屋外の両方のシナリオで最先端の手法を実現する。
  論文  参考訳（メタデータ） (2020-03-06T12:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。