論文の概要: PoI: A Filter to Extract Pixel of Interest from Novel View Synthesis for Scene Coordinate Regression
- arxiv url: http://arxiv.org/abs/2502.04843v3
- Date: Sat, 28 Jun 2025 10:06:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 15:08:38.947745
- Title: PoI: A Filter to Extract Pixel of Interest from Novel View Synthesis for Scene Coordinate Regression
- Title（参考訳）: PoI: シーン協調回帰のための新しい視点合成から興味を抽出するフィルタ
- Authors: Feifei Li, Qi Song, Chi Zhang, Hui Shuai, Rui Huang,
- Abstract要約: 新しいビュー合成(NVS)技術は、トレーニングデータを拡張・多様化することで、カメラのポーズ推定を強化することができる。
これらの手法によって生成された画像は、しばしばぼやけや幽霊のような空間的な人工物に悩まされる。
本稿では,トレーニング中に最適な画素を動的に識別・破棄する二基準フィルタリング機構を提案する。
- 参考スコア（独自算出の注目度）: 28.39136566857838
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Novel View Synthesis (NVS) techniques, notably Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS), can augment camera pose estimation by extending and diversifying training data. However, images generated by these methods are often plagued by spatial artifacts such as blurring and ghosting, undermining their reliability as training data for camera pose estimation. This limitation is particularly critical for Scene Coordinate Regression (SCR) methods, which aim at pixel-level 3D coordinate estimation, because rendering artifacts directly lead to estimation inaccuracies. To address this challenge, we propose a dual-criteria filtering mechanism that dynamically identifies and discards suboptimal pixels during training. The dual-criteria filter evaluates two concurrent metrics: (1) real-time SCR reprojection error, and (2) gradient threshold, across the coordinate regression domain. In addition, for visual localization problems in sparse-input scenarios, it becomes even more necessary to use NVS-generated data to assist localization. We design a coarse-to-fine Points of Interest (PoI) variant using sparse-input NVS to solve this problem. Experiments across indoor and outdoor benchmarks confirm our method's efficacy, achieving state-of-the-art localization accuracy while maintaining computational efficiency.
- Abstract（参考訳）: 新しいビュー合成(NVS)技術、特にNeural Radiance Fields(NeRF)と3D Gaussian Splatting(3DGS)は、トレーニングデータの拡張と多様化によってカメラのポーズ推定を拡大することができる。
しかし、これらの手法によって生成された画像は、ぼやけや幽霊のような空間的な人工物に悩まされ、カメラポーズ推定のトレーニングデータとして信頼性を損なうことが多い。
この制限は、ピクセルレベルの3D座標推定を目標とするScene Coordinate Regression (SCR) 法では特に重要である。
この課題に対処するために、トレーニング中に最適な画素を動的に識別・破棄する二重基準フィルタリング機構を提案する。
両基準フィルタは,(1)リアルタイムSCR再投射誤差,(2)勾配閾値の2つの同時測定基準を座標回帰領域全体で評価する。
さらに、スパース入力シナリオにおける視覚的ローカライズ問題に対しては、NVS生成データを使用してローカライズを支援することがさらに必要となる。
この問題を解決するために、スパース入力NVSを用いた粗大な関心のポイント(PoI)を設計する。
室内および屋外のベンチマークを用いて実験を行い、計算効率を維持しつつ、最先端のローカライゼーション精度を達成し、本手法の有効性を確認した。
関連論文リスト
- DGTR: Distributed Gaussian Turbo-Reconstruction for Sparse-View Vast Scenes [81.56206845824572]
新規ビュー合成(NVS)アプローチは、広大なシーン再構築において重要な役割を担っている。
大規模な環境下では、復元の質が悪くなる場合が少なくない。
本稿では,スパース・ビュー・ワイド・シーンのための効率的なガウス再構成のための分散フレームワークであるDGTRを提案する。
論文 参考訳（メタデータ） (2024-11-19T07:51:44Z) - FewViewGS: Gaussian Splatting with Few View Matching and Multi-stage Training [15.634646420318731]
スパース入力画像を用いた3次元ガウス型新規ビュー合成法を提案する。
本稿では,新しい視点に課せられる整合性制約を考慮した多段階学習手法を提案する。
これは、利用可能なトレーニング画像のマッチングを使用して、新しいビューの生成を監督することで達成される。
論文 参考訳（メタデータ） (2024-11-04T16:21:00Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - GSplatLoc: Grounding Keypoint Descriptors into 3D Gaussian Splatting for Improved Visual Localization [1.4466437171584356]
軽量なXFeat特徴抽出器から高密度かつ堅牢なキーポイント記述器を3DGSに統合する2段階の手順を提案する。
第2段階では、レンダリングベースの光度ワープ損失を最小限に抑え、初期ポーズ推定を洗練させる。
広く使われている屋内および屋外データセットのベンチマークは、最近のニューラルレンダリングベースのローカライゼーション手法よりも改善されていることを示している。
論文 参考訳（メタデータ） (2024-09-24T23:18:32Z) - SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。
本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。
また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
論文 参考訳（メタデータ） (2024-07-17T15:50:17Z) - A Construct-Optimize Approach to Sparse View Synthesis without Camera Pose [44.13819148680788]
カメラポーズを伴わないスパースビュー合成のための新しい構成と最適化手法を開発した。
具体的には、単分子深度と画素を3次元の世界に投影することで、解を構築する。
タンク・アンド・テンプル・アンド・スタティック・ハイクスのデータセットに3つの広い範囲のビューで結果を示す。
論文 参考訳（メタデータ） (2024-05-06T17:36:44Z) - SpikeNVS: Enhancing Novel View Synthesis from Blurry Images via Spike Camera [78.20482568602993]
従来のRGBカメラは、動きがぼやけやすい。
イベントやスパイクカメラのようなニューロモルフィックカメラは、本質的により包括的な時間情報をキャプチャする。
我々の設計は、NeRFと3DGSをまたいだ新しいビュー合成を強化することができる。
論文 参考訳（メタデータ） (2024-04-10T03:31:32Z) - Leveraging Neural Radiance Fields for Uncertainty-Aware Visual
Localization [56.95046107046027]
我々は,Neural Radiance Fields (NeRF) を用いてシーン座標回帰のためのトレーニングサンプルを生成することを提案する。
レンダリングにおけるNeRFの効率にもかかわらず、レンダリングされたデータの多くはアーティファクトによって汚染されるか、最小限の情報ゲインしか含まない。
論文 参考訳（メタデータ） (2023-10-10T20:11:13Z) - Neural Refinement for Absolute Pose Regression with Feature Synthesis [33.2608395824548]
APR(Absolute Pose Regression)メソッドは、ディープニューラルネットワークを使用して、RGBイメージからカメラのポーズを直接回帰する。
本研究では,暗黙的幾何制約を利用するテスト時間改善パイプラインを提案する。
また、トレーニング中に3次元幾何学的特徴を符号化し、テスト時に高密度な新しいビュー特徴を直接レンダリングしてAPR法を洗練させるニューラル・フィーチャー・シンセサイザー(NeFeS)モデルも導入する。
論文 参考訳（メタデータ） (2023-03-17T16:10:50Z) - CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural
Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。
これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。
さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文 参考訳（メタデータ） (2022-09-02T17:44:50Z) - Progressively-connected Light Field Network for Efficient View Synthesis [69.29043048775802]
本稿では、複雑な前方シーンのビュー合成のためのプログレッシブ・コネクテッド・ライトフィールド・ネットワーク(ProLiF)を提案する。
ProLiFは4Dライトフィールドをエンコードし、画像やパッチレベルの損失に対するトレーニングステップで大量の光線をレンダリングすることができる。
論文 参考訳（メタデータ） (2022-07-10T13:47:20Z) - LENS: Localization enhanced by NeRF synthesis [3.4386226615580107]
アルゴリズムのNeRFクラスによって描画された追加の合成データセットにより、カメラポーズの回帰が向上することを示す。
我々はさらに、トレーニング中のデータ拡張として、合成現実的および幾何学的一貫した画像を用いて、ポーズ回帰器の局所化精度を向上した。
論文 参考訳（メタデータ） (2021-10-13T08:15:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。