論文の概要: PoRF: Pose Residual Field for Accurate Neural Surface Reconstruction

• arxiv url: http://arxiv.org/abs/2310.07449v3
• Date: Tue, 12 Mar 2024 06:39:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-14 18:27:59.392882
• Title: PoRF: Pose Residual Field for Accurate Neural Surface Reconstruction
• Title（参考訳）: PoRF: 正確な神経表面再構成のための残留電位場
• Authors: Jia-Wang Bian, Wenjing Bian, Victor Adrian Prisacariu, Philip Torr
• Abstract要約: 本稿では、ポーズ更新の回帰に対応づける新しい暗黙の表現である、ポーズ残留フィールド(PoRF)を紹介する。 DTUデータセットでは,COLMAPポーズの回転誤差を78%削減し,チャンファー距離を3.48mmから0.85mmに短縮した。 カジュアルにキャプチャされた360度ビデオを含むMobileデータセットでは、ARKitのポーズを洗練し、リコンストラクションF1スコアを69.18から75.67に改善する。
• 参考スコア（独自算出の注目度）: 24.882446212756626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural surface reconstruction is sensitive to the camera pose noise, even if state-of-the-art pose estimators like COLMAP or ARKit are used. More importantly, existing Pose-NeRF joint optimisation methods have struggled to improve pose accuracy in challenging real-world scenarios. To overcome the challenges, we introduce the pose residual field (PoRF), a novel implicit representation that uses an MLP for regressing pose updates. This is more robust than the conventional pose parameter optimisation due to parameter sharing that leverages global information over the entire sequence. Furthermore, we propose an epipolar geometry loss to enhance the supervision that leverages the correspondences exported from COLMAP results without the extra computational overhead. Our method yields promising results. On the DTU dataset, we reduce the rotation error by 78\% for COLMAP poses, leading to the decreased reconstruction Chamfer distance from 3.48mm to 0.85mm. On the MobileBrick dataset that contains casually captured unbounded 360-degree videos, our method refines ARKit poses and improves the reconstruction F1 score from 69.18 to 75.67, outperforming that with the dataset provided ground-truth pose (75.14). These achievements demonstrate the efficacy of our approach in refining camera poses and improving the accuracy of neural surface reconstruction in real-world scenarios.
• Abstract（参考訳）: ニューラルサーフェス再構成は、COLMAPやARKitのような最先端のポーズ推定装置を使用しても、カメラポーズノイズに敏感である。 さらに重要なことに、既存のPose-NeRF共同最適化手法は、現実のシナリオに挑戦する際のポーズの精度を改善するのに苦労している。 これらの課題を克服するために、ポーズ更新の回帰にMLPを使用する新しい暗黙の表現である、ポーズ残留フィールド(PoRF)を導入する。 これは、シーケンス全体にわたってグローバル情報を活用するパラメータ共有のため、従来のポーズパラメータの最適化よりも堅牢である。 さらに、余分な計算オーバーヘッドを伴わずに、COLMAP結果からエクスポートされた対応を利用して、監督を強化するために、エピポーラ幾何学的損失を提案する。 我々の方法は有望な結果をもたらす。 DTUデータセットでは,COLMAPポーズの回転誤差を78\%削減し,チャンファー距離を3.48mmから0.85mmに短縮した。 カジュアルにキャプチャされた360度ビデオを含むMobileBrickデータセットでは、ARKitのポーズを洗練し、再構成されたF1スコアを69.18から75.67に改善し、データセットが地味のポーズ(75.14)を提供することでパフォーマンスが向上した。 これらの成果は、カメラポーズの精製におけるアプローチの有効性を示し、現実のシナリオにおける神経表面再構成の精度を向上させる。

関連論文リスト

• SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
  本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。 本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。 また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
  論文  参考訳（メタデータ） (2024-07-17T15:50:17Z)
• Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
  カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。 本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。 提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-22T18:59:56Z)
• NoPose-NeuS: Jointly Optimizing Camera Poses with Neural Implicit Surfaces for Multi-view Reconstruction [0.0]
  NoPose-NeuSは、NeuSを拡張して、幾何学とカラーネットワークでカメラポーズを協調的に最適化する、ニューラルネットワークによる暗黙の表面再構成手法である。 提案手法は, 比較的正確なカメラポーズを推定できるが, 表面改質品質は0.89で, チャムファー距離は0.89である。
  論文  参考訳（メタデータ） (2023-12-23T12:18:22Z)
• iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching [14.737266480464156]
  コンピュータビジョンにおける6次元カメラのポーズ推定問題に対処するため,iComMaという手法を提案する。 3次元ガウススプラッティング(3DGS)の反転による高精度カメラポーズ推定法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T15:31:33Z)
• Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement [50.56517624931987]
  多視点RGB画像からの室内シーンの再構成は、平坦領域とテクスチャレス領域の共存により困難である。 近年の手法では、予測された表面正規化によって支援されたニューラルラジアンス場を利用してシーン形状を復元している。 本研究は, 上記の制限に対処して, 高忠実度表面を細かな詳細で再構築することを目的とする。
  論文  参考訳（メタデータ） (2023-09-14T12:05:29Z)
• LoLep: Single-View View Synthesis with Locally-Learned Planes and Self-Attention Occlusion Inference [66.45326873274908]
  本稿では,1枚のRGB画像から局所学習平面を回帰してシーンを正確に表現するLoLepを提案する。 MINEと比較して、LPIPSは4.8%-9.0%、RVは73.9%-83.5%である。
  論文  参考訳（メタデータ） (2023-07-23T03:38:55Z)
• LU-NeRF: Scene and Pose Estimation by Synchronizing Local Unposed NeRFs [56.050550636941836]
  NeRFモデルが野生で広く展開されるのを防ぐ重要な障害は、正確なカメラのポーズに依存することである。 カメラのポーズとニューラルフィールドを協調して推定するLU-NeRFという新しい手法を提案する。 LU-NeRFパイプラインは、ポーズに制限的な仮定を加えることなく、未提案のNeRFに対する事前試みより優れることを示す。
  論文  参考訳（メタデータ） (2023-06-08T17:56:22Z)
• RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust Correspondence Field Estimation and Pose Optimization [46.144194562841435]
  本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。 この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。 各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
  論文  参考訳（メタデータ） (2022-03-24T06:24:55Z)
• LENS: Localization enhanced by NeRF synthesis [3.4386226615580107]
  アルゴリズムのNeRFクラスによって描画された追加の合成データセットにより、カメラポーズの回帰が向上することを示す。 我々はさらに、トレーニング中のデータ拡張として、合成現実的および幾何学的一貫した画像を用いて、ポーズ回帰器の局所化精度を向上した。
  論文  参考訳（メタデータ） (2021-10-13T08:15:08Z)
• FasterPose: A Faster Simple Baseline for Human Pose Estimation [65.8413964785972]
  本稿では,高速ポーズ推定のためのLR表現を用いた費用対効果ネットワークの設計パラダイムであるFasterPoseを提案する。 我々は,FasterPoseのトレーニング挙動について検討し,収束を加速する新しい回帰クロスエントロピー(RCE)損失関数を定式化する。 従来のポーズ推定ネットワークと比較すると,FLOPの58%が減少し,精度が1.3%向上した。
  論文  参考訳（メタデータ） (2021-07-07T13:39:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。