論文の概要: UPNeRF: A Unified Framework for Monocular 3D Object Reconstruction and Pose Estimation
- arxiv url: http://arxiv.org/abs/2403.15705v1
- Date: Sat, 23 Mar 2024 03:56:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 21:32:08.091076
- Title: UPNeRF: A Unified Framework for Monocular 3D Object Reconstruction and Pose Estimation
- Title(参考訳): UPNeRF:モノクロ3次元オブジェクト再構成とポーズ推定のための統一フレームワーク
- Authors: Yuliang Guo, Abhinav Kumar, Cheng Zhao, Ruoyu Wang, Xinyu Huang, Liu Ren,
- Abstract要約: ポース推定とNeRFに基づく再構成を統合した統一フレームワークUPNeRFを提案する。
UPNeRFはオブジェクトの次元推定を分離し、スケールと深さのあいまいさを解決するために洗練する。
UPNeRFは、KITTIとデータセットに例外的なクロスデータセットの一般化を示す。
- 参考スコア(独自算出の注目度): 15.166003559787915
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Monocular 3D reconstruction for categorical objects heavily relies on accurately perceiving each object's pose. While gradient-based optimization within a NeRF framework updates initially given poses, this paper highlights that such a scheme fails when the initial pose even moderately deviates from the true pose. Consequently, existing methods often depend on a third-party 3D object to provide an initial object pose, leading to increased complexity and generalization issues. To address these challenges, we present UPNeRF, a Unified framework integrating Pose estimation and NeRF-based reconstruction, bringing us closer to real-time monocular 3D object reconstruction. UPNeRF decouples the object's dimension estimation and pose refinement to resolve the scale-depth ambiguity, and introduces an effective projected-box representation that generalizes well cross different domains. While using a dedicated pose estimator that smoothly integrates into an object-centric NeRF, UPNeRF is free from external 3D detectors. UPNeRF achieves state-of-the-art results in both reconstruction and pose estimation tasks on the nuScenes dataset. Furthermore, UPNeRF exhibits exceptional Cross-dataset generalization on the KITTI and Waymo datasets, surpassing prior methods with up to 50% reduction in rotation and translation error.
- Abstract(参考訳): 分類対象に対する単眼的な3D再構成は、各対象のポーズを正確に知覚することに大きく依存している。
NeRFフレームワーク内での勾配に基づく最適化は、最初はポーズが与えられたが、本論文では、最初のポーズが真のポーズからややずれた場合に、そのようなスキームが失敗することを強調する。
その結果、既存の手法は初期オブジェクトのポーズを提供するために第三者の3Dオブジェクトに依存することが多く、複雑さと一般化の問題が増大する。
これらの課題に対処するため,我々は Pose 推定と NeRF に基づく再構成を統合した統一フレームワークである UPNeRF を提案する。
UPNeRFはオブジェクトの次元推定を分離し、スケールと深さのあいまいさを解消するために改善を施し、異なる領域をよく横断する効果的な射影箱表現を導入している。
オブジェクト中心のNeRFに滑らかに統合される専用のポーズ推定器を使用する一方で、UPNeRFは外部の3D検出器から解放される。
UPNeRFは、nuScenesデータセットの再構築とポーズ推定の両方で最先端の結果を達成する。
さらに、UPNeRFは、KITTIとWaymoのデータセットに例外的なクロスデータセットの一般化を示し、ローテーションと翻訳エラーを最大50%削減する以前の手法を超越している。
関連論文リスト
- REACTO: Reconstructing Articulated Objects from a Single Video [64.89760223391573]
関節の柔軟な変形を維持しつつ各部の剛性を向上する新しい変形モデルを提案する。
提案手法は, 従来よりも高忠実度な3D再構成を実現する上で, 従来の手法よりも優れていた。
論文 参考訳(メタデータ) (2024-04-17T08:01:55Z) - Source-Free and Image-Only Unsupervised Domain Adaptation for Category
Level Object Pose Estimation [18.011044932979143]
3DUDAは、3Dや深度データを使わずに、ニュアンスドライデンのターゲットドメインに適応できる手法である。
対象のカテゴリを単純な立方体メッシュとして表現し、ニューラル特徴活性化の生成モデルを利用する。
本手法は,グローバルな擬似ラベル付きデータセットの微調整を軽度な仮定でシミュレートする。
論文 参考訳(メタデータ) (2024-01-19T17:48:05Z) - Unsupervised 3D Pose Estimation with Non-Rigid Structure-from-Motion
Modeling [83.76377808476039]
本研究では,人間のポーズの変形をモデル化し,それに伴う拡散に基づく動きを事前に設計する手法を提案する。
動作中の3次元人間の骨格を復元する作業は3次元基準骨格の推定に分割する。
混合時空間NASfMformerを用いて、各フレームの3次元基準骨格と骨格変形を2次元観測シーケンスから同時に推定する。
論文 参考訳(メタデータ) (2023-08-18T16:41:57Z) - Few-View Object Reconstruction with Unknown Categories and Camera Poses [80.0820650171476]
この研究は、カメラのポーズやオブジェクトのカテゴリを知らない少数の画像から、一般的な現実世界のオブジェクトを再構築する。
私たちの研究の要点は、形状再構成とポーズ推定という、2つの基本的な3D視覚問題を解決することです。
提案手法は,各ビューから3次元特徴を予測し,それらを入力画像と組み合わせて活用し,クロスビュー対応を確立する。
論文 参考訳(メタデータ) (2022-12-08T18:59:02Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳(メタデータ) (2022-11-21T17:42:42Z) - RNNPose: Recurrent 6-DoF Object Pose Refinement with Robust
Correspondence Field Estimation and Pose Optimization [46.144194562841435]
本稿では、オブジェクトポーズ改善のためのリカレントニューラルネットワーク(RNN)に基づくフレームワークを提案する。
この問題は、推定対応フィールドに基づいて非線形最小二乗問題として定式化される。
各イテレーションにおいて、対応フィールド推定とポーズ精錬を代替して行い、正確なオブジェクトポーズを復元する。
論文 参考訳(メタデータ) (2022-03-24T06:24:55Z) - NeRF-Pose: A First-Reconstruct-Then-Regress Approach for
Weakly-supervised 6D Object Pose Estimation [44.42449011619408]
トレーニング中に2次元オブジェクトセグメンテーションと既知の相対カメラポーズしか必要としないNeRF-Poseという,弱教師付き再構築型パイプラインを提案する。
予測応答から安定かつ正確なポーズを推定するために、NeRF対応RAN+SACアルゴリズムを用いる。
LineMod-Occlusion 実験の結果,提案手法は6次元ポーズ推定法と比較して最先端の精度を持つことがわかった。
論文 参考訳(メタデータ) (2022-03-09T15:28:02Z) - Iterative Optimisation with an Innovation CNN for Pose Refinement [17.752556490937092]
本研究では,オブジェクトのポーズ推定を改良する手法として,Innovation CNNを提案する。
Innovation CNNを勾配降下フレームワークに反復的に適用することにより、初期ポーズ推定を段階的に改善する。
提案手法は,人気のLINEMODおよびOcclusion LINEMODデータセット上で評価し,両データセットの最先端性能を得る。
論文 参考訳(メタデータ) (2021-01-22T00:12:12Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳(メタデータ) (2021-01-18T03:24:48Z) - SparseFusion: Dynamic Human Avatar Modeling from Sparse RGBD Images [49.52782544649703]
本稿では,RGBDフレームのスパース集合に基づく3次元人体形状の再構築手法を提案する。
主な課題は、これらのスパースフレームを標準的な3Dモデルにしっかりと融合させる方法だ。
私たちのフレームワークは柔軟で、潜在的なアプリケーションは形状の再構築を超えています。
論文 参考訳(メタデータ) (2020-06-05T18:53:36Z) - Reconstruct, Rasterize and Backprop: Dense shape and pose estimation
from a single image [14.9851111159799]
本稿では,1枚の画像から6-DoFポーズとともに高密度物体再構成を行うシステムを提案する。
我々は、カメラフレームの3D再構成でループを閉じるために、差別化可能なレンダリング(特にロボティクス)の最近の進歩を活用している。
論文 参考訳(メタデータ) (2020-04-25T20:53:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。