論文の概要: NeRF-Supervised Feature Point Detection and Description
- arxiv url: http://arxiv.org/abs/2403.08156v2
- Date: Tue, 30 Jul 2024 10:32:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 22:06:02.944110
- Title: NeRF-Supervised Feature Point Detection and Description
- Title(参考訳): NeRF-Supervised Feature Point Detection and Description
- Authors: Ali Youssef, Francisco Vasconcelos,
- Abstract要約: 本稿では,Near Radiance Fields (NeRFs) を利用して,屋内と屋外のシーンからなる多様で現実的なデータセットを生成する手法を提案する。
提案手法は,多視点NeRF合成データのトレーニングに最先端の特徴検出器と記述子を適用し,視点射影幾何学による監督を実現する。
- 参考スコア(独自算出の注目度): 2.7388340826497837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Feature point detection and description is the backbone for various computer vision applications, such as Structure-from-Motion, visual SLAM, and visual place recognition. While learning-based methods have surpassed traditional handcrafted techniques, their training often relies on simplistic homography-based simulations of multi-view perspectives, limiting model generalisability. This paper presents a novel approach leveraging Neural Radiance Fields (NeRFs) to generate a diverse and realistic dataset consisting of indoor and outdoor scenes. Our proposed methodology adapts state-of-the-art feature detectors and descriptors for training on multi-view NeRF-synthesised data, with supervision achieved through perspective projective geometry. Experiments demonstrate that the proposed methodology achieves competitive or superior performance on standard benchmarks for relative pose estimation, point cloud registration, and homography estimation while requiring significantly less training data and time compared to existing approaches.
- Abstract(参考訳): 特徴点の検出と記述は、Structure-from-Motion、ビジュアルSLAM、視覚的位置認識など、様々なコンピュータビジョンアプリケーションのためのバックボーンである。
学習に基づく手法は従来の手工芸技術を超えてきたが、その訓練は多視点視点の単純なホモグラフィに基づくシミュレーションに頼り、モデルの一般性を制限する。
本稿では,Near Radiance Fields (NeRFs) を利用して,屋内と屋外のシーンからなる多様で現実的なデータセットを生成する手法を提案する。
提案手法は,多視点NeRF合成データのトレーニングに最先端の特徴検出器と記述子を適用し,視点射影幾何学による監督を実現する。
提案手法は, 従来の手法に比べてトレーニングデータや時間を大幅に削減しつつ, 相対ポーズ推定, ポイントクラウド登録, ホモグラフィ推定のための標準ベンチマークにおいて, 競争力や優れた性能を達成できることを示した。
関連論文リスト
- Hierarchical and Decoupled BEV Perception Learning Framework for Autonomous Driving [52.808273563372126]
本稿では,新しい階層型バードアイビュー(BEV)知覚パラダイムを提案する。
基本的な知覚モジュールとユーザフレンドリなグラフィカルインターフェースのライブラリを提供することを目指している。
我々は,大規模公開データセットと合理化開発プロセスを効果的に活用するために,Pretrain-Finetune戦略を実行している。
論文 参考訳(メタデータ) (2024-07-17T11:17:20Z) - Divide and Conquer: Rethinking the Training Paradigm of Neural Radiance
Fields [24.99410489251996]
ニューラルレイディアンス場(NeRF)は3Dシーンの高忠実度ビューに可能性を示した。
NeRFの標準トレーニングパラダイムは、トレーニングセットの各画像に等しい重要性を前提としている。
本稿では、現在のトレーニングパラダイムの意義を詳しく調べ、より優れたレンダリング品質のために再設計する。
論文 参考訳(メタデータ) (2024-01-29T13:23:34Z) - PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。
一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。
一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
論文 参考訳(メタデータ) (2023-12-17T08:30:00Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Diffusion-based Visual Counterfactual Explanations -- Towards Systematic
Quantitative Evaluation [64.0476282000118]
視覚的対物的説明法(VCE)の最新手法は、深い生成モデルの力を利用して、印象的な画質の高次元画像の新しい例を合成する。
評価手順が大きく異なり,個々の実例の視覚検査や小規模なユーザスタディなど,これらのVCE手法の性能を比較することは,現時点では困難である。
本稿では,VCE手法の体系的,定量的評価のためのフレームワークと,使用する指標の最小セットを提案する。
論文 参考訳(メタデータ) (2023-08-11T12:22:37Z) - Towards a Robust Framework for NeRF Evaluation [11.348562090906576]
ニューラルレージアンスフィールド(NeRF)パイプラインからニューラルレンダリングネットワークを分離する新しいテストフレームワークを提案する。
次に, 明示的放射場表現に基づくNeRFの訓練と評価を行い, パラメトリック評価を行う。
我々のアプローチは、NeRF法の比較客観的評価フレームワークを作成する可能性を提供します。
論文 参考訳(メタデータ) (2023-05-29T13:30:26Z) - Mask-Based Modeling for Neural Radiance Fields [20.728248301818912]
本研究では,マスクベースモデリングにより3次元暗黙表現学習を大幅に改善できることを明らかにする。
MRVM-NeRFは,各光線に沿った部分的マスキング特徴から,シーンの完全な表現を予測するための自己教師付き事前学習対象である。
この事前学習目標により、MRVM-NeRFは、幾何学的先行として異なる点とビュー間の相関をよりよく利用することができる。
論文 参考訳(メタデータ) (2023-04-11T04:12:31Z) - Rethinking Range View Representation for LiDAR Segmentation [66.73116059734788]
「多対一」マッピング、意味的不整合、形状変形は、射程射影からの効果的な学習に対する障害となる可能性がある。
RangeFormerは、ネットワークアーキテクチャ、データ拡張、後処理を含む新しい設計を含む、フルサイクルのフレームワークである。
比較対象のLiDARセマンティックスとパノプティックスセグメンテーションのベンチマークにおいて,初めてレンジビュー法が点,ボクセル,マルチビューフュージョンを越えられることを示す。
論文 参考訳(メタデータ) (2023-03-09T16:13:27Z) - Region Comparison Network for Interpretable Few-shot Image
Classification [97.97902360117368]
新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。
本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。
また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
論文 参考訳(メタデータ) (2020-09-08T07:29:05Z) - Quantifying Challenges in the Application of Graph Representation
Learning [0.0]
私たちは、一般的な埋め込みアプローチのセットに対して、アプリケーション指向の視点を提供します。
実世界のグラフ特性に関する表現力を評価する。
GRLアプローチは現実のシナリオでは定義が困難であることが示唆された。
論文 参考訳(メタデータ) (2020-06-18T03:19:43Z) - Contextual Encoder-Decoder Network for Visual Saliency Prediction [42.047816176307066]
本稿では,大規模な画像分類タスクに基づいて事前学習した畳み込みニューラルネットワークに基づくアプローチを提案する。
得られた表現をグローバルなシーン情報と組み合わせて視覚的サリエンシを正確に予測する。
最先端技術と比較して、このネットワークは軽量な画像分類バックボーンに基づいている。
論文 参考訳(メタデータ) (2019-02-18T16:15:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。