論文の概要: ROFT: Real-Time Optical Flow-Aided 6D Object Pose and Velocity Tracking
- arxiv url: http://arxiv.org/abs/2111.03821v1
- Date: Sat, 6 Nov 2021 07:30:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-09 16:40:16.213879
- Title: ROFT: Real-Time Optical Flow-Aided 6D Object Pose and Velocity Tracking
- Title（参考訳）: roft: リアルタイム光フロー支援6次元物体ポーズと速度追跡
- Authors: Nicola A. Piga, Yuriy Onyshchuk, Giulia Pasquale, Ugo Pattacini and
Lorenzo Natale
- Abstract要約: RGB-D画像ストリームからの6次元オブジェクトポーズと速度追跡のためのカルマンフィルタ手法であるROFTを導入する。
リアルタイム光フローを活用することで、ROFTは低フレームレートの畳み込みニューラルネットワークの遅延出力をインスタンスセグメンテーションと6Dオブジェクトのポーズ推定に同期させる。
その結果,本手法は6次元オブジェクトのポーズトラッキングと6次元オブジェクトの速度トラッキングを併用しながら,最先端の手法よりも優れていることがわかった。
- 参考スコア（独自算出の注目度）: 7.617467911329272
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 6D object pose tracking has been extensively studied in the robotics and
computer vision communities. The most promising solutions, leveraging on deep
neural networks and/or filtering and optimization, exhibit notable performance
on standard benchmarks. However, to our best knowledge, these have not been
tested thoroughly against fast object motions. Tracking performance in this
scenario degrades significantly, especially for methods that do not achieve
real-time performance and introduce non negligible delays. In this work, we
introduce ROFT, a Kalman filtering approach for 6D object pose and velocity
tracking from a stream of RGB-D images. By leveraging real-time optical flow,
ROFT synchronizes delayed outputs of low frame rate Convolutional Neural
Networks for instance segmentation and 6D object pose estimation with the RGB-D
input stream to achieve fast and precise 6D object pose and velocity tracking.
We test our method on a newly introduced photorealistic dataset, Fast-YCB,
which comprises fast moving objects from the YCB model set, and on the dataset
for object and hand pose estimation HO-3D. Results demonstrate that our
approach outperforms state-of-the-art methods for 6D object pose tracking,
while also providing 6D object velocity tracking. A video showing the
experiments is provided as supplementary material.
- Abstract（参考訳）: 6Dオブジェクトのポーズトラッキングはロボットとコンピュータビジョンのコミュニティで広く研究されている。
ディープニューラルネットワークとフィルタリングと最適化を活用することで、最も有望なソリューションは、標準ベンチマークで注目すべきパフォーマンスを示している。
しかし、我々の知る限り、これらは高速物体の動きに対して完全にはテストされていない。
このシナリオにおけるトラッキング性能は、特にリアルタイム性能を達成せず、無視できない遅延をもたらすメソッドにおいて、著しく低下する。
本研究では,RGB-D画像ストリームからの6次元オブジェクトポーズと速度追跡のためのカルマンフィルタ手法であるROFTを紹介する。
リアルタイム光フローを活用することにより、ROFTは低フレームレートの畳み込みニューラルネットワークの遅延出力をRGB-D入力ストリームと同期させ、高速で高精度な6Dオブジェクトポーズと速度トラッキングを実現する。
提案手法は,YCBモデルセットから高速に移動したオブジェクトからなる新しいフォトリアリスティックデータセットであるFast-YCBと,オブジェクトとポーズ推定用データセットであるHO-3Dで検証する。
その結果,提案手法は6次元オブジェクトのポーズトラッキングと6次元オブジェクトの速度トラッキングに優れることがわかった。
実験を示すビデオは補足材料として提供される。
関連論文リスト
- DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-03-09T12:22:46Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - 3D Neural Embedding Likelihood: Probabilistic Inverse Graphics for
Robust 6D Pose Estimation [50.15926681475939]
逆グラフィックスは2次元画像から3次元シーン構造を推論することを目的としている。
確率モデルを導入し,不確実性を定量化し,6次元ポーズ推定タスクにおけるロバスト性を実現する。
3DNELは、RGBから学んだニューラルネットワークの埋め込みと深度情報を組み合わせることで、RGB-D画像からのsim-to-real 6Dオブジェクトのポーズ推定の堅牢性を向上させる。
論文 参考訳（メタデータ） (2023-02-07T20:48:35Z) - Enhancing Generalizable 6D Pose Tracking of an In-Hand Object with
Tactile Sensing [31.49529551069215]
TEG-Trackは触覚による6Dポーズトラッキングシステムである。
手に持たない物体を追跡できる。
その結果,TEG-Trackは最先端の一般化可能な6Dポーズトラッカーを一貫して強化することを示した。
論文 参考訳（メタデータ） (2022-10-08T13:47:03Z) - Unseen Object 6D Pose Estimation: A Benchmark and Baselines [62.8809734237213]
本稿では,新しい物体の6次元ポーズ推定をアルゴリズムで行えるようにするための新しいタスクを提案する。
実画像と合成画像の両方でデータセットを収集し、テストセットで最大48個の未確認オブジェクトを収集する。
エンド・ツー・エンドの3D対応ネットワークをトレーニングすることにより、未確認物体と部分ビューRGBD画像との対応点を高精度かつ効率的に見つけることができる。
論文 参考訳（メタデータ） (2022-06-23T16:29:53Z) - Motion-from-Blur: 3D Shape and Motion Estimation of Motion-blurred
Objects in Videos [115.71874459429381]
本研究では,映像から3次元の運動,3次元の形状,および高度に動きやすい物体の外観を同時推定する手法を提案する。
提案手法は, 高速移動物体の劣化と3次元再構成において, 従来の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-29T11:25:14Z) - VIPose: Real-time Visual-Inertial 6D Object Pose Tracking [3.44942675405441]
本稿では,オブジェクトのポーズ追跡問題にリアルタイムに対処するために,VIPoseと呼ばれる新しいディープニューラルネットワーク(DNN)を提案する。
重要な貢献は、オブジェクトの相対的な6Dポーズを予測するために視覚的および慣性的特徴を融合する新しいDNNアーキテクチャの設計である。
このアプローチでは、最先端技術に匹敵する精度性能を示すが、リアルタイムであることにはさらなるメリットがある。
論文 参考訳（メタデータ） (2021-07-27T06:10:23Z) - Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic
Domains [6.187780920448869]
この研究は、長期6Dポーズトラッキングのためのデータ駆動最適化アプローチであるSe(3)-TrackNetを提示する。
本研究の目的は、現在のRGB-D観測と、前回の推定値と対象物のモデルに基づいて条件付けされた合成画像から、最適な相対的なポーズを特定することである。
ニューラルネットワークアーキテクチャは、ドメインシフトを減らすために機能のエンコーディングを適切に切り離し、Lie Algebraによる効果的な3D配向表現を提供する。
論文 参考訳（メタデータ） (2021-05-29T23:56:05Z) - Spatial Attention Improves Iterative 6D Object Pose Estimation [52.365075652976735]
本稿では,RGB画像を用いた6次元ポーズ推定の改良手法を提案する。
私たちの主な洞察力は、最初のポーズ推定の後、オブジェクトの異なる空間的特徴に注意を払うことが重要です。
実験により,このアプローチが空間的特徴に順応することを学び,被写体の一部を無視することを学び,データセット間でのポーズ推定を改善することを実証した。
論文 参考訳（メタデータ） (2021-01-05T17:18:52Z) - se(3)-TrackNet: Data-driven 6D Pose Tracking by Calibrating Image
Residuals in Synthetic Domains [12.71983073907091]
本研究では,長期6次元ポーズトラッキングのためのデータ駆動型最適化手法を提案する。
本研究の目的は、現在のRGB-D観測と、前回の推定値と対象物のモデルに基づいて条件付けされた合成画像から、最適な相対的なポーズを特定することである。
提案手法は, 実画像を用いて訓練した場合でも, 常に頑健な評価を達成し, 代替品よりも優れる。
論文 参考訳（メタデータ） (2020-07-27T21:09:36Z) - Single Shot 6D Object Pose Estimation [11.37625512264302]
深度画像に基づく剛体物体の6次元オブジェクトポーズ推定のための新しい単一ショット手法を提案する。
完全な畳み込みニューラルネットワークを用い、3次元入力データを空間的に離散化し、ポーズ推定を回帰タスクとみなす。
GPU上の65fpsでは、Object Pose Network(OP-Net)は非常に高速で、エンドツーエンドに最適化され、画像内の複数のオブジェクトの6Dポーズを同時に推定する。
論文 参考訳（メタデータ） (2020-04-27T11:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。