論文の概要: 6DOPE-GS: Online 6D Object Pose Estimation using Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2412.01543v1
- Date: Mon, 02 Dec 2024 14:32:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:42:32.237191
- Title: 6DOPE-GS: Online 6D Object Pose Estimation using Gaussian Splatting
- Title（参考訳）: 6DOPE-GS:ガウススプラッティングを用いたオンライン6次元オブジェクトポス推定
- Authors: Yufeng Jin, Vignesh Prasad, Snehal Jauhri, Mathias Franzius, Georgia Chalvatzaki,
- Abstract要約: 1台のRGB-Dカメラで6Dオブジェクトのポーズを推定・追跡する新しい手法である6DOPE-GSを提案する。
その結果,6DOPE-GSはモデルレス同時ポーズトラッキングと再構築のための最先端ベースラインの性能と一致していることがわかった。
また,実世界の環境下での動的物体追跡と再構成のための手法の適合性を実証した。
- 参考スコア（独自算出の注目度）: 7.7145084897748974
- License:
- Abstract: Efficient and accurate object pose estimation is an essential component for modern vision systems in many applications such as Augmented Reality, autonomous driving, and robotics. While research in model-based 6D object pose estimation has delivered promising results, model-free methods are hindered by the high computational load in rendering and inferring consistent poses of arbitrary objects in a live RGB-D video stream. To address this issue, we present 6DOPE-GS, a novel method for online 6D object pose estimation \& tracking with a single RGB-D camera by effectively leveraging advances in Gaussian Splatting. Thanks to the fast differentiable rendering capabilities of Gaussian Splatting, 6DOPE-GS can simultaneously optimize for 6D object poses and 3D object reconstruction. To achieve the necessary efficiency and accuracy for live tracking, our method uses incremental 2D Gaussian Splatting with an intelligent dynamic keyframe selection procedure to achieve high spatial object coverage and prevent erroneous pose updates. We also propose an opacity statistic-based pruning mechanism for adaptive Gaussian density control, to ensure training stability and efficiency. We evaluate our method on the HO3D and YCBInEOAT datasets and show that 6DOPE-GS matches the performance of state-of-the-art baselines for model-free simultaneous 6D pose tracking and reconstruction while providing a 5$\times$ speedup. We also demonstrate the method's suitability for live, dynamic object tracking and reconstruction in a real-world setting.
- Abstract（参考訳）: 効果的で正確なオブジェクトポーズ推定は、拡張現実、自律運転、ロボット工学といった多くの応用において、現代の視覚システムにとって不可欠な要素である。
モデルベース6Dオブジェクトのポーズ推定の研究は有望な結果をもたらしてきたが、実写RGB-Dビデオストリームにおける任意のオブジェクトの一貫性のあるポーズのレンダリングと推論において、モデルフリーメソッドは高い計算負荷によって妨げられている。
この問題に対処するために,ガウススメッティングの進歩を効果的に活用し,単一のRGB-Dカメラを用いたオンライン6Dオブジェクトポーズ推定のための新しい手法である6DOPE-GSを提案する。
Gaussian Splattingの高速な差別化レンダリング機能のおかげで、6DOPE-GSは同時に6Dオブジェクトのポーズと3Dオブジェクトの再構築を最適化できる。
ライブトラッキングに必要な効率と精度を達成するために,インテリジェントな動的キーフレーム選択手法を用いた2次元ガウススプラッティングを用いて,空間的オブジェクトのカバレッジを向上し,誤ポーズの更新を防止する。
また,適応型ガウス密度制御のための不透明統計に基づくプルーニング機構を提案し,トレーニングの安定性と効率性を確保する。
本手法はHO3DとYCBInEOATのデータセットを用いて評価し,6DOPE-GSが5$\times$のスピードアップを提供しながら,モデルレス同時ポーズ追跡と再構築のための最先端ベースラインの性能と一致していることを示す。
また,実世界の環境下での動的物体追跡と再構成のための手法の適合性を実証した。
関連論文リスト
- UPose3D: Uncertainty-Aware 3D Human Pose Estimation with Cross-View and Temporal Cues [55.69339788566899]
UPose3Dは多視点人間のポーズ推定のための新しいアプローチである。
直接的な3Dアノテーションを必要とせずに、堅牢性と柔軟性を向上させる。
論文 参考訳（メタデータ） (2024-04-23T00:18:00Z) - Advancing 6D Pose Estimation in Augmented Reality -- Overcoming Projection Ambiguity with Uncontrolled Imagery [0.0]
本研究では,拡張現実(AR)における正確な6次元ポーズ推定の課題に対処する。
本稿では,z軸変換と焦点長の推定を戦略的に分解する手法を提案する。
この手法は6次元ポーズ推定プロセスの合理化だけでなく、AR設定における3次元オブジェクトのオーバーレイの精度を大幅に向上させる。
論文 参考訳（メタデータ） (2024-03-20T09:22:22Z) - 3D Neural Embedding Likelihood: Probabilistic Inverse Graphics for
Robust 6D Pose Estimation [50.15926681475939]
逆グラフィックスは2次元画像から3次元シーン構造を推論することを目的としている。
確率モデルを導入し,不確実性を定量化し,6次元ポーズ推定タスクにおけるロバスト性を実現する。
3DNELは、RGBから学んだニューラルネットワークの埋め込みと深度情報を組み合わせることで、RGB-D画像からのsim-to-real 6Dオブジェクトのポーズ推定の堅牢性を向上させる。
論文 参考訳（メタデータ） (2023-02-07T20:48:35Z) - Learning 6D Pose Estimation from Synthetic RGBD Images for Robotic
Applications [0.6299766708197883]
提案したパイプラインは、興味のある対象のために大量の写真リアリスティックなRGBD画像を生成することができる。
オブジェクト検出器YOLO-V4-tinyと6次元ポーズ推定アルゴリズムPVN3Dを統合し,リアルタイム2次元ポーズ推定手法を開発した。
結果として得られたネットワークは、LineModデータセットで評価した場合の最先端手法と比較して、競合性能を示す。
論文 参考訳（メタデータ） (2022-08-30T14:17:15Z) - Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。
我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
論文 参考訳（メタデータ） (2022-04-26T18:00:08Z) - ROFT: Real-Time Optical Flow-Aided 6D Object Pose and Velocity Tracking [7.617467911329272]
RGB-D画像ストリームからの6次元オブジェクトポーズと速度追跡のためのカルマンフィルタ手法であるROFTを導入する。
リアルタイム光フローを活用することで、ROFTは低フレームレートの畳み込みニューラルネットワークの遅延出力をインスタンスセグメンテーションと6Dオブジェクトのポーズ推定に同期させる。
その結果,本手法は6次元オブジェクトのポーズトラッキングと6次元オブジェクトの速度トラッキングを併用しながら,最先端の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2021-11-06T07:30:00Z) - SO-Pose: Exploiting Self-Occlusion for Direct 6D Pose Estimation [98.83762558394345]
SO-Poseは、オブジェクトの6自由度(6DoF)をすべて、単一のRGBイメージから散らばった環境でポーズさせるフレームワークである。
本稿では,3次元オブジェクトの2層表現を確立するために,自己閉塞に関する新たな推論を導入する。
対応性,自己閉塞性,6次元ポーズを整列する層間合成により,精度とロバスト性をさらに向上させることができる。
論文 参考訳（メタデータ） (2021-08-18T19:49:29Z) - VIPose: Real-time Visual-Inertial 6D Object Pose Tracking [3.44942675405441]
本稿では,オブジェクトのポーズ追跡問題にリアルタイムに対処するために,VIPoseと呼ばれる新しいディープニューラルネットワーク(DNN)を提案する。
重要な貢献は、オブジェクトの相対的な6Dポーズを予測するために視覚的および慣性的特徴を融合する新しいDNNアーキテクチャの設計である。
このアプローチでは、最先端技術に匹敵する精度性能を示すが、リアルタイムであることにはさらなるメリットがある。
論文 参考訳（メタデータ） (2021-07-27T06:10:23Z) - FS-Net: Fast Shape-based Network for Category-Level 6D Object Pose
Estimation with Decoupled Rotation Mechanism [49.89268018642999]
6次元ポーズ推定のための効率的なカテゴリレベルの特徴抽出が可能な高速形状ベースネットワーク(FS-Net)を提案する。
提案手法は,カテゴリレベルおよびインスタンスレベルの6Dオブジェクトのポーズ推定における最先端性能を実現する。
論文 参考訳（メタデータ） (2021-03-12T03:07:24Z) - Spatial Attention Improves Iterative 6D Object Pose Estimation [52.365075652976735]
本稿では,RGB画像を用いた6次元ポーズ推定の改良手法を提案する。
私たちの主な洞察力は、最初のポーズ推定の後、オブジェクトの異なる空間的特徴に注意を払うことが重要です。
実験により,このアプローチが空間的特徴に順応することを学び,被写体の一部を無視することを学び,データセット間でのポーズ推定を改善することを実証した。
論文 参考訳（メタデータ） (2021-01-05T17:18:52Z) - se(3)-TrackNet: Data-driven 6D Pose Tracking by Calibrating Image
Residuals in Synthetic Domains [12.71983073907091]
本研究では,長期6次元ポーズトラッキングのためのデータ駆動型最適化手法を提案する。
本研究の目的は、現在のRGB-D観測と、前回の推定値と対象物のモデルに基づいて条件付けされた合成画像から、最適な相対的なポーズを特定することである。
提案手法は, 実画像を用いて訓練した場合でも, 常に頑健な評価を達成し, 代替品よりも優れる。
論文 参考訳（メタデータ） (2020-07-27T21:09:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。