論文の概要: Robust SG-NeRF: Robust Scene Graph Aided Neural Surface Reconstruction
- arxiv url: http://arxiv.org/abs/2411.13620v1
- Date: Wed, 20 Nov 2024 09:48:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-22 15:19:23.550366
- Title: Robust SG-NeRF: Robust Scene Graph Aided Neural Surface Reconstruction
- Title（参考訳）: Robust SG-NeRF:Robust Scene Graphによる神経表面再構成
- Authors: Yi Gu, Dongjun Ye, Zhaorui Wang, Jiaxu Wang, Jiahang Cao, Renjing Xu,
- Abstract要約: 既存のポーズ-NeRF共同最適化手法は、小さなノイズ(インレーシ)を持つポーズを効果的に扱うが、大きなノイズ(インレーシ)に苦慮する。
本研究は,外乱ポーズの影響を緩和することに焦点を当てる。
提案手法は,データ作成期間中に収集したシーングラフ情報を活用するため,不整合・不整合信頼度推定手法を統合する。
- 参考スコア（独自算出の注目度）: 9.429618155943635
- License:
- Abstract: Neural surface reconstruction relies heavily on accurate camera poses as input. Despite utilizing advanced pose estimators like COLMAP or ARKit, camera poses can still be noisy. Existing pose-NeRF joint optimization methods handle poses with small noise (inliers) effectively but struggle with large noise (outliers), such as mirrored poses. In this work, we focus on mitigating the impact of outlier poses. Our method integrates an inlier-outlier confidence estimation scheme, leveraging scene graph information gathered during the data preparation phase. Unlike previous works directly using rendering metrics as the reference, we employ a detached color network that omits the viewing direction as input to minimize the impact caused by shape-radiance ambiguities. This enhanced confidence updating strategy effectively differentiates between inlier and outlier poses, allowing us to sample more rays from inlier poses to construct more reliable radiance fields. Additionally, we introduce a re-projection loss based on the current Signed Distance Function (SDF) and pose estimations, strengthening the constraints between matching image pairs. For outlier poses, we adopt a Monte Carlo re-localization method to find better solutions. We also devise a scene graph updating strategy to provide more accurate information throughout the training process. We validate our approach on the SG-NeRF and DTU datasets. Experimental results on various datasets demonstrate that our methods can consistently improve the reconstruction qualities and pose accuracies.
- Abstract（参考訳）: 神経表面の再構成は、入力として正確なカメラのポーズに大きく依存する。
COLMAPやARKitのような高度なポーズ推定ツールを使用しているにも関わらず、カメラのポーズはうるさい。
既存のポーズ-NeRFジョイント最適化手法は、小さなノイズ(イリヤ)でポーズを効果的に処理するが、ミラーポーズのような大きなノイズ(イリヤ)で苦労する。
本研究は,外乱ポーズの影響を緩和することに焦点を当てる。
提案手法は,データ作成期間中に収集したシーングラフ情報を活用するため,不整合・不整合信頼度推定手法を統合する。
レンダリングメトリクスを直接参照として使用した以前の研究とは異なり、形状の曖昧さによる影響を最小限に抑えるために、表示方向を入力として省略する分離カラーネットワークを採用している。
この強化された信頼度更新戦略は、より信頼性の高い放射場を構築するために、不整形ポーズと不整形ポーズを効果的に区別し、不整形ポーズからより多くの光をサンプリングすることができる。
さらに、現在の符号距離関数(SDF)に基づく再投影損失を導入し、画像ペア間の制約を強化する。
外れのポーズでは、より良い解を見つけるためにモンテカルロ再局在法を採用する。
また、トレーニングプロセス全体を通してより正確な情報を提供するために、シーングラフ更新戦略を考案する。
我々は,SG-NeRFおよびDTUデータセットに対するアプローチを検証する。
各種データセットを用いた実験結果から,提案手法は再現性の向上と精度向上に寄与することが示された。
関連論文リスト
- SG-NeRF: Neural Surface Reconstruction with Scene Graph Optimization [16.460851701725392]
本稿では,外乱ポーズの影響を軽減するため,シーングラフを用いた放射場最適化手法を提案する。
本手法では,シーングラフに基づく適応型不整合・不整合信頼度推定手法を取り入れた。
また、カメラのポーズと表面形状を最適化するために、効果的な交叉結合(IoU)損失を導入する。
論文 参考訳（メタデータ） (2024-07-17T15:50:17Z) - Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。
本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。
提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
論文 参考訳（メタデータ） (2024-02-22T18:59:56Z) - iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching [14.737266480464156]
コンピュータビジョンにおける6次元カメラのポーズ推定問題に対処するため,iComMaという手法を提案する。
3次元ガウススプラッティング(3DGS)の反転による高精度カメラポーズ推定法を提案する。
論文 参考訳（メタデータ） (2023-12-14T15:31:33Z) - PoRF: Pose Residual Field for Accurate Neural Surface Reconstruction [24.882446212756626]
本稿では、ポーズ更新の回帰に対応づける新しい暗黙の表現である、ポーズ残留フィールド(PoRF)を紹介する。
DTUデータセットでは,COLMAPポーズの回転誤差を78%削減し,チャンファー距離を3.48mmから0.85mmに短縮した。
カジュアルにキャプチャされた360度ビデオを含むMobileデータセットでは、ARKitのポーズを洗練し、リコンストラクションF1スコアを69.18から75.67に改善する。
論文 参考訳（メタデータ） (2023-10-11T12:51:16Z) - PoseMatcher: One-shot 6D Object Pose Estimation by Deep Feature Matching [51.142988196855484]
本稿では,PoseMatcherを提案する。
3ビューシステムに基づくオブジェクトと画像のマッチングのための新しいトレーニングパイプラインを作成します。
PoseMatcherは、画像とポイントクラウドの異なる入力モダリティに対応できるように、IO-Layerを導入します。
論文 参考訳（メタデータ） (2023-04-03T21:14:59Z) - Enhanced Stable View Synthesis [86.69338893753886]
本稿では,自由に動くカメラから撮影した画像から,新しいビュー合成を強化するアプローチを提案する。
導入されたアプローチは、正確な幾何学的足場とカメラのポーズの復元が困難な屋外シーンに焦点を当てている。
論文 参考訳（メタデータ） (2023-03-30T01:53:14Z) - Progressively Optimized Local Radiance Fields for Robust View Synthesis [76.55036080270347]
本稿では,1つのカジュアルな映像から大規模シーンのラディアンス場を再構成するアルゴリズムを提案する。
未知のポーズを扱うために、カメラのポーズと放射場を漸進的に推定する。
大規模な非有界シーンを扱うために、時間窓内にフレームで訓練された新しい局所放射場を動的に割り当てる。
論文 参考訳（メタデータ） (2023-03-24T04:03:55Z) - DFNet: Enhance Absolute Pose Regression with Direct Feature Matching [16.96571417692014]
絶対ポーズ回帰(APR)と直接特徴マッチングを組み合わせたカメラ再局在パイプラインを導入する。
提案手法は,既存の1画像のAPR手法を最大56%上回る精度で3次元構造法に匹敵する精度を実現する。
論文 参考訳（メタデータ） (2022-04-01T16:39:16Z) - LENS: Localization enhanced by NeRF synthesis [3.4386226615580107]
アルゴリズムのNeRFクラスによって描画された追加の合成データセットにより、カメラポーズの回帰が向上することを示す。
我々はさらに、トレーニング中のデータ拡張として、合成現実的および幾何学的一貫した画像を用いて、ポーズ回帰器の局所化精度を向上した。
論文 参考訳（メタデータ） (2021-10-13T08:15:08Z) - Deep Bingham Networks: Dealing with Uncertainty and Ambiguity in Pose
Estimation [74.76155168705975]
Deep Bingham Networks (DBN)は、3Dデータに関するほぼすべての実生活アプリケーションで発生するポーズ関連の不確実性と曖昧性を扱うことができる。
DBNは、(i)異なる分布モードを生成できる多仮説予測ヘッドにより、アートダイレクトポーズ回帰ネットワークの状態を拡張する。
トレーニング中のモードや後方崩壊を回避し,数値安定性を向上させるための新しいトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2020-12-20T19:20:26Z) - Leveraging Photometric Consistency over Time for Sparsely Supervised
Hand-Object Reconstruction [118.21363599332493]
本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。
本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。
提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
論文 参考訳（メタデータ） (2020-04-28T12:03:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。