論文の概要: Semantic keypoint-based pose estimation from single RGB frames

• arxiv url: http://arxiv.org/abs/2204.05864v1
• Date: Tue, 12 Apr 2022 15:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 16:44:51.384989
• Title: Semantic keypoint-based pose estimation from single RGB frames
• Title（参考訳）: 意味的キーポイントに基づく単一のRGBフレームからのポーズ推定
• Authors: Karl Schmeckpeper, Philip R. Osteen, Yufu Wang, Georgios Pavlakos, Kenneth Chaney, Wyatt Jordan, Xiaowei Zhou, Konstantinos G. Derpanis, and Kostas Daniilidis
• Abstract要約: 一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。 このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。 提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
• 参考スコア（独自算出の注目度）: 64.80395521735463
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents an approach to estimating the continuous 6-DoF pose of an object from a single RGB image. The approach combines semantic keypoints predicted by a convolutional network (convnet) with a deformable shape model. Unlike prior investigators, we are agnostic to whether the object is textured or textureless, as the convnet learns the optimal representation from the available training-image data. Furthermore, the approach can be applied to instance- and class-based pose recovery. Additionally, we accompany our main pipeline with a technique for semi-automatic data generation from unlabeled videos. This procedure allows us to train the learnable components of our method with minimal manual intervention in the labeling process. Empirically, we show that our approach can accurately recover the 6-DoF object pose for both instance- and class-based scenarios even against a cluttered background. We apply our approach both to several, existing, large-scale datasets - including PASCAL3D+, LineMOD-Occluded, YCB-Video, and TUD-Light - and, using our labeling pipeline, to a new dataset with novel object classes that we introduce here. Extensive empirical evaluations show that our approach is able to provide pose estimation results comparable to the state of the art.
• Abstract（参考訳）: 本稿では,オブジェクトの連続6-DoFポーズを1枚のRGB画像から推定する手法を提案する。 このアプローチは、畳み込みネットワーク(convnet)によって予測される意味キーポイントと変形可能な形状モデルを組み合わせる。 従来の研究者とは異なり、convnetは利用可能なトレーニング画像データから最適な表現を学習するため、オブジェクトがテクスチャ化されているかテクスチャレスであるかに無関係である。 さらに、このアプローチはインスタンスベースおよびクラスベースのポーズリカバリにも適用できる。 さらに,ラベルのないビデオからセミオートマチックデータを生成する手法をメインパイプラインに導入した。 この手順により、ラベリングプロセスに最小限の手動介入で学習可能なコンポーネントをトレーニングできます。 提案手法は,乱雑な背景に対しても,インスタンスベースとクラスベースの両方のシナリオに対して,正確に6-DoFオブジェクトのポーズを復元できることを実証的に示す。 当社のアプローチは、pascal3d+、linemod-occluded、ycb-video、tud-lightなど、既存の大規模データセットのいくつかに適用し、ラベリングパイプラインを使用して、ここで紹介する新しいオブジェクトクラスを持つ新しいデータセットに適用します。 広範な経験的評価から,我々のアプローチは,最先端に匹敵する姿勢推定結果を提供できることが示された。

関連論文リスト

• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
  人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。 そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects [55.77542145604758]
  FoundationPoseは、6Dオブジェクトのポーズ推定と追跡のための統合基盤モデルである。 我々のアプローチは、微調整なしで、テスト時に新しいオブジェクトに即座に適用できる。
  論文  参考訳（メタデータ） (2023-12-13T18:28:09Z)
• FoundPose: Unseen Object Pose Estimation with Foundation Features [11.32559845631345]
  FoundPoseは、単一のRGB画像から見えないオブジェクトを6Dポーズで推定するモデルベースの手法である。 この方法は、オブジェクトやタスク固有のトレーニングを必要とせずに、3Dモデルを使って、新しいオブジェクトを素早くオンボードできる。
  論文  参考訳（メタデータ） (2023-11-30T18:52:29Z)
• Diff-DOPE: Differentiable Deep Object Pose Estimation [29.703385848843414]
  Diff-DOPE, 画像入力を行う6-DoFポーズ精細機, オブジェクトの3次元テクスチャモデル, オブジェクトの初期ポーズを紹介する。 この方法は、画像とモデルの投影の間の視覚的エラーを最小限に抑えるために、オブジェクトのポーズを更新するために微分可能なレンダリングを使用する。 このシンプルで効果的なアイデアは、ポーズ推定データセットで最先端の結果を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-09-30T18:52:57Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• CPPF++: Uncertainty-Aware Sim2Real Object Pose Estimation by Vote Aggregation [67.12857074801731]
  そこで本研究では,シミュレートからリアルなポーズ推定のための新しい手法であるCPPF++を提案する。 投票衝突による課題に対処するため,投票の不確実性をモデル化する新たなアプローチを提案する。 ノイズの多いペアフィルタリング、オンラインアライメント最適化、機能アンサンブルなど、いくつかの革新的なモジュールを組み込んでいます。
  論文  参考訳（メタデータ） (2022-11-24T03:27:00Z)
• RelPose: Predicting Probabilistic Relative Rotation for Single Objects in the Wild [73.1276968007689]
  本稿では、任意のオブジェクトの複数の画像からカメラ視点を推定するデータ駆動手法について述べる。 本手法は, 画像の鮮明さから, 最先端のSfM法とSLAM法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-08-11T17:59:59Z)
• Category-Agnostic 6D Pose Estimation with Conditional Neural Processes [19.387280883044482]
  未知物体の6次元ポーズ推定のためのメタラーニング手法を提案する。 本アルゴリズムは,オブジェクトの表現をカテゴリに依存しない方法で学習し,オブジェクトカテゴリをまたいだ強力な一般化機能を実現する。
  論文  参考訳（メタデータ） (2022-06-14T20:46:09Z)
• A Hybrid Approach for 6DoF Pose Estimation [4.200736775540874]
  本稿では,最先端のディープラーニング型インスタンス検出器を用いた6DoFポーズ推定手法を提案する。 さらに、インスタンス検出器とトレーニングセットを検証セット上で最高のパフォーマンスで選択する自動メソッド選択も使用します。 このハイブリッドアプローチは、CNNを用いて高度に構造化されていないデータをフィルタリングし、クラッタを切断し、頑健なポーズ推定のために証明された収束を伴う局所幾何学的アプローチを用いて、学習と古典的アプローチのベストを生かしている。
  論文  参考訳（メタデータ） (2020-11-11T09:58:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。