論文の概要: ROFT: Real-Time Optical Flow-Aided 6D Object Pose and Velocity Tracking

• arxiv url: http://arxiv.org/abs/2111.03821v1
• Date: Sat, 6 Nov 2021 07:30:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 16:40:16.213879
• Title: ROFT: Real-Time Optical Flow-Aided 6D Object Pose and Velocity Tracking
• Title（参考訳）: roft: リアルタイム光フロー支援6次元物体ポーズと速度追跡
• Authors: Nicola A. Piga, Yuriy Onyshchuk, Giulia Pasquale, Ugo Pattacini and Lorenzo Natale
• Abstract要約: RGB-D画像ストリームからの6次元オブジェクトポーズと速度追跡のためのカルマンフィルタ手法であるROFTを導入する。 リアルタイム光フローを活用することで、ROFTは低フレームレートの畳み込みニューラルネットワークの遅延出力をインスタンスセグメンテーションと6Dオブジェクトのポーズ推定に同期させる。 その結果,本手法は6次元オブジェクトのポーズトラッキングと6次元オブジェクトの速度トラッキングを併用しながら,最先端の手法よりも優れていることがわかった。
• 参考スコア（独自算出の注目度）: 7.617467911329272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 6D object pose tracking has been extensively studied in the robotics and computer vision communities. The most promising solutions, leveraging on deep neural networks and/or filtering and optimization, exhibit notable performance on standard benchmarks. However, to our best knowledge, these have not been tested thoroughly against fast object motions. Tracking performance in this scenario degrades significantly, especially for methods that do not achieve real-time performance and introduce non negligible delays. In this work, we introduce ROFT, a Kalman filtering approach for 6D object pose and velocity tracking from a stream of RGB-D images. By leveraging real-time optical flow, ROFT synchronizes delayed outputs of low frame rate Convolutional Neural Networks for instance segmentation and 6D object pose estimation with the RGB-D input stream to achieve fast and precise 6D object pose and velocity tracking. We test our method on a newly introduced photorealistic dataset, Fast-YCB, which comprises fast moving objects from the YCB model set, and on the dataset for object and hand pose estimation HO-3D. Results demonstrate that our approach outperforms state-of-the-art methods for 6D object pose tracking, while also providing 6D object velocity tracking. A video showing the experiments is provided as supplementary material.
• Abstract（参考訳）: 6Dオブジェクトのポーズトラッキングはロボットとコンピュータビジョンのコミュニティで広く研究されている。 ディープニューラルネットワークとフィルタリングと最適化を活用することで、最も有望なソリューションは、標準ベンチマークで注目すべきパフォーマンスを示している。 しかし、我々の知る限り、これらは高速物体の動きに対して完全にはテストされていない。 このシナリオにおけるトラッキング性能は、特にリアルタイム性能を達成せず、無視できない遅延をもたらすメソッドにおいて、著しく低下する。 本研究では,RGB-D画像ストリームからの6次元オブジェクトポーズと速度追跡のためのカルマンフィルタ手法であるROFTを紹介する。 リアルタイム光フローを活用することにより、ROFTは低フレームレートの畳み込みニューラルネットワークの遅延出力をRGB-D入力ストリームと同期させ、高速で高精度な6Dオブジェクトポーズと速度トラッキングを実現する。 提案手法は,YCBモデルセットから高速に移動したオブジェクトからなる新しいフォトリアリスティックデータセットであるFast-YCBと,オブジェクトとポーズ推定用データセットであるHO-3Dで検証する。 その結果,提案手法は6次元オブジェクトのポーズトラッキングと6次元オブジェクトの速度トラッキングに優れることがわかった。 実験を示すビデオは補足材料として提供される。

関連論文リスト

• ReFlow6D: Refraction-Guided Transparent Object 6D Pose Estimation via Intermediate Representation Learning [48.29147383536012]
  透明な物体6次元ポーズ推定のための新しい手法であるReFlow6Dを提案する。 従来の手法とは異なり,RGB画像空間の変化や深度情報に依存しない特徴空間を利用する。 ReFlow6Dは,RGB画像のみを入力として,透明物体の正確な6次元ポーズ推定を実現する。
  論文  参考訳（メタデータ） (2024-12-30T09:53:26Z)
• Street Gaussians without 3D Object Tracker [86.62329193275916]
  既存の手法では、オブジェクトポーズの労働集約的な手動ラベリングを使用して、標準的な空間内で動的オブジェクトを再構築し、レンダリング中にこれらのポーズに基づいてそれらを動かす。 本研究では,3次元オブジェクト融合戦略における2次元ディープトラッカーの関連性を利用して,安定なオブジェクト追跡モジュールを提案する。 我々は、軌道誤差を自律的に補正し、見逃した検出を回復する暗黙の特徴空間に、モーションラーニング戦略を導入することで、避けられないトラッキングエラーに対処する。
  論文  参考訳（メタデータ） (2024-12-07T05:49:42Z)
• 6DOPE-GS: Online 6D Object Pose Estimation using Gaussian Splatting [7.7145084897748974]
  1台のRGB-Dカメラで6Dオブジェクトのポーズを推定・追跡する新しい手法である6DOPE-GSを提案する。 その結果,6DOPE-GSはモデルレス同時ポーズトラッキングと再構築のための最先端ベースラインの性能と一致していることがわかった。 また,実世界の環境下での動的物体追跡と再構成のための手法の適合性を実証した。
  論文  参考訳（メタデータ） (2024-12-02T14:32:19Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
  本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。 既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-08-21T10:38:32Z)
• 3D Neural Embedding Likelihood: Probabilistic Inverse Graphics for Robust 6D Pose Estimation [50.15926681475939]
  逆グラフィックスは2次元画像から3次元シーン構造を推論することを目的としている。 確率モデルを導入し,不確実性を定量化し,6次元ポーズ推定タスクにおけるロバスト性を実現する。 3DNELは、RGBから学んだニューラルネットワークの埋め込みと深度情報を組み合わせることで、RGB-D画像からのsim-to-real 6Dオブジェクトのポーズ推定の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-02-07T20:48:35Z)
• Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred Objects in Videos [115.71874459429381]
  本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。 提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-29T11:25:14Z)
• VIPose: Real-time Visual-Inertial 6D Object Pose Tracking [3.44942675405441]
  本稿では,オブジェクトのポーズ追跡問題にリアルタイムに対処するために,VIPoseと呼ばれる新しいディープニューラルネットワーク(DNN)を提案する。 重要な貢献は、オブジェクトの相対的な6Dポーズを予測するために視覚的および慣性的特徴を融合する新しいDNNアーキテクチャの設計である。 このアプローチでは、最先端技術に匹敵する精度性能を示すが、リアルタイムであることにはさらなるメリットがある。
  論文  参考訳（メタデータ） (2021-07-27T06:10:23Z)
• Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains [6.187780920448869]
  この研究は、長期6Dポーズトラッキングのためのデータ駆動最適化アプローチであるSe(3)-TrackNetを提示する。 本研究の目的は、現在のRGB-D観測と、前回の推定値と対象物のモデルに基づいて条件付けされた合成画像から、最適な相対的なポーズを特定することである。 ニューラルネットワークアーキテクチャは、ドメインシフトを減らすために機能のエンコーディングを適切に切り離し、Lie Algebraによる効果的な3D配向表現を提供する。
  論文  参考訳（メタデータ） (2021-05-29T23:56:05Z)
• se(3)-TrackNet: Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains [12.71983073907091]
  本研究では,長期6次元ポーズトラッキングのためのデータ駆動型最適化手法を提案する。 本研究の目的は、現在のRGB-D観測と、前回の推定値と対象物のモデルに基づいて条件付けされた合成画像から、最適な相対的なポーズを特定することである。 提案手法は, 実画像を用いて訓練した場合でも, 常に頑健な評価を達成し, 代替品よりも優れる。
  論文  参考訳（メタデータ） (2020-07-27T21:09:36Z)
• Single Shot 6D Object Pose Estimation [11.37625512264302]
  深度画像に基づく剛体物体の6次元オブジェクトポーズ推定のための新しい単一ショット手法を提案する。 完全な畳み込みニューラルネットワークを用い、3次元入力データを空間的に離散化し、ポーズ推定を回帰タスクとみなす。 GPU上の65fpsでは、Object Pose Network(OP-Net)は非常に高速で、エンドツーエンドに最適化され、画像内の複数のオブジェクトの6Dポーズを同時に推定する。
  論文  参考訳（メタデータ） (2020-04-27T11:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。