論文の概要: PixTrack: Precise 6DoF Object Pose Tracking using NeRF Templates and
Feature-metric Alignment
- arxiv url: http://arxiv.org/abs/2209.03910v2
- Date: Wed, 14 Feb 2024 09:43:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 19:01:21.537580
- Title: PixTrack: Precise 6DoF Object Pose Tracking using NeRF Templates and
Feature-metric Alignment
- Title(参考訳): PixTrack: NeRFテンプレートと特徴量アライメントによる6DoFオブジェクトの精密追跡
- Authors: Prajwal Chidananda, Saurabh Nair, Douglas Lee, Adrian Kaehler
- Abstract要約: 本稿では、新しいビュー合成と深い特徴量アライメントを用いた視覚に基づくオブジェクトポーズ追跡フレームワークPixTrackを提案する。
提案手法は, モノクロRGB画像とRGB-D画像の両方において, 高精度でロバストでジッタフリーな6DoFのオブジェクトを推定できることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present PixTrack, a vision based object pose tracking framework using
novel view synthesis and deep feature-metric alignment. We follow an SfM-based
relocalization paradigm where we use a Neural Radiance Field to canonically
represent the tracked object. Our evaluations demonstrate that our method
produces highly accurate, robust, and jitter-free 6DoF pose estimates of
objects in both monocular RGB images and RGB-D images without the need of any
data annotation or trajectory smoothing. Our method is also computationally
efficient making it easy to have multi-object tracking with no alteration to
our algorithm through simple CPU multiprocessing. Our code is available at:
https://github.com/GiantAI/pixtrack
- Abstract(参考訳): 本稿では、新しいビュー合成と深い特徴量アライメントを用いた視覚に基づくオブジェクトポーズ追跡フレームワークPixTrackを提案する。
我々はSfMベースの再ローカライズパラダイムに従い、追跡対象を正則に表現するためにニューラルラジアンスフィールドを使用する。
提案手法は,データアノテーションや軌道平滑化を必要とせずに,単眼RGB画像とRGB-D画像の両方のオブジェクトを高精度かつ頑健かつジッタフリーな6DoFで推定できることを示す。
また,提案手法は計算効率が高く,単純なCPUマルチプロセッシングによるアルゴリズムの変更を伴わないマルチオブジェクト追跡が容易である。
私たちのコードは、https://github.com/GiantAI/pixtrackで利用可能です。
関連論文リスト
- RDPN6D: Residual-based Dense Point-wise Network for 6Dof Object Pose Estimation Based on RGB-D Images [13.051302134031808]
単一のRGB-D画像を用いてオブジェクトの6DoFポーズを計算する新しい手法を提案する。
オブジェクトのポーズを直接予測する既存の手法や、ポーズ回復のためのスパースキーポイントに依存する既存の手法とは異なり、我々のアプローチは密度の高い対応を使ってこの課題に対処する。
論文 参考訳(メタデータ) (2024-05-14T10:10:45Z) - Inverse Neural Rendering for Explainable Multi-Object Tracking [35.072142773300655]
我々はRGBカメラから3Dマルチオブジェクト追跡をEmphInverse Rendering (IR)問題として再放送した。
我々は、本質的に形状と外観特性を歪ませる生成潜在空間上の画像損失を最適化する。
本手法の一般化とスケーリング能力は,合成データのみから生成前を学習することで検証する。
論文 参考訳(メタデータ) (2024-04-18T17:37:53Z) - RGB-based Category-level Object Pose Estimation via Decoupled Metric
Scale Recovery [72.13154206106259]
本研究では、6次元のポーズとサイズ推定を分離し、不完全なスケールが剛性変換に与える影響を緩和するパイプラインを提案する。
具体的には,事前学習した単分子推定器を用いて局所的な幾何学的情報を抽出する。
別個のブランチは、カテゴリレベルの統計に基づいてオブジェクトのメートル法スケールを直接復元するように設計されている。
論文 参考訳(メタデータ) (2023-09-19T02:20:26Z) - SparseTrack: Multi-Object Tracking by Performing Scene Decomposition
based on Pseudo-Depth [84.64121608109087]
2次元画像から目標の相対的な深さを求めるための擬似深度推定法を提案する。
次に,得られた深度情報を用いて,高密度なターゲットセットを複数のスパースなターゲットサブセットに変換するディープカスケードマッチング(DCM)アルゴリズムを設計する。
擬似深度法とDCM戦略をデータアソシエーションプロセスに統合することにより、SparseTrackと呼ばれる新しいトラッカーを提案する。
論文 参考訳(メタデータ) (2023-06-08T14:36:10Z) - BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown
Objects [89.2314092102403]
モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。
視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
論文 参考訳(メタデータ) (2023-03-24T17:13:49Z) - VPIT: Real-time Embedded Single Object 3D Tracking Using Voxel Pseudo Images [90.60881721134656]
本稿では,Voxel Pseudo Image Tracking (VPIT) という,Voxel-based 3D Single Object Tracking (3D SOT) 手法を提案する。
KITTI追跡データセットの実験は、VPITが最速の3D SOT法であり、競合的な成功と精度の値を維持することを示している。
論文 参考訳(メタデータ) (2022-06-06T14:02:06Z) - Self-Calibrating Neural Radiance Fields [68.64327335620708]
キャリブレーション対象のないシーンの幾何学と正確なカメラパラメータを共同で学習する。
我々のカメラモデルは、ピンホールモデル、第4次ラジアル歪み、および任意の非線形カメラ歪みを学習可能な汎用ノイズモデルで構成されている。
論文 参考訳(メタデータ) (2021-08-31T13:34:28Z) - GraspME -- Grasp Manifold Estimator [17.902186297156724]
本研究では,Grasp Manifold Estor (GraspME)を導入し,2次元カメラ画像から直接物体の把握能力を検出する。
提案フレームワークは,GPUにおける推定速度11.5fps,キーポイント推定平均精度94.5%,画素距離1.29。
論文 参考訳(メタデータ) (2021-07-05T07:49:12Z) - Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic
Domains [6.187780920448869]
この研究は、長期6Dポーズトラッキングのためのデータ駆動最適化アプローチであるSe(3)-TrackNetを提示する。
本研究の目的は、現在のRGB-D観測と、前回の推定値と対象物のモデルに基づいて条件付けされた合成画像から、最適な相対的なポーズを特定することである。
ニューラルネットワークアーキテクチャは、ドメインシフトを減らすために機能のエンコーディングを適切に切り離し、Lie Algebraによる効果的な3D配向表現を提供する。
論文 参考訳(メタデータ) (2021-05-29T23:56:05Z) - EagerMOT: 3D Multi-Object Tracking via Sensor Fusion [68.8204255655161]
マルチオブジェクトトラッキング(MOT)により、移動ロボットは周囲の物体を3次元空間と時間で位置づけすることで、良好な動作計画とナビゲーションを行うことができる。
既存の方法は、深度センサー(例えばLiDAR)を使用して3D空間のターゲットを検出し追跡するが、信号の間隔が限られているため、検出範囲は限られている。
我々は,両方のセンサモダリティから利用可能な物体を全て統合し,シーンのダイナミックスを適切に解釈する簡易なトラッキング定式化であるeagermotを提案する。
論文 参考訳(メタデータ) (2021-04-29T22:30:29Z) - Rapid Pose Label Generation through Sparse Representation of Unknown
Objects [7.32172860877574]
本研究は、未知のオブジェクトに対する実世界のポーズアノテートされたRGB-Dデータを高速に生成するためのアプローチを提案する。
我々はまず、RGB-Dビデオのセット上で任意に選択されたキーポイントの順序付きセットの最小限のラベルを出力する。
最適化問題を解くことにより、これらのラベルをワールドフレームの下に組み合わせ、スパースでキーポイントに基づくオブジェクトの表現を復元する。
論文 参考訳(メタデータ) (2020-11-07T15:14:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。