論文の概要: PIZZA: A Powerful Image-only Zero-Shot Zero-CAD Approach to 6 DoF Tracking

• arxiv url: http://arxiv.org/abs/2209.07589v1
• Date: Thu, 15 Sep 2022 19:55:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 12:31:57.583657
• Title: PIZZA: A Powerful Image-only Zero-Shot Zero-CAD Approach to 6 DoF Tracking
• Title（参考訳）: PIZZA:6DF追跡のための強力な画像専用ゼロショットゼロCADアプローチ
• Authors: Van Nguyen Nguyen, Yuming Du, Yang Xiao, Michael Ramamonjisoa, Vincent Lepetit
• Abstract要約: トレーニング画像も3次元形状も利用できない場合,RGBビデオシーケンス中の物体の6次元動きを追跡する手法を提案する。 従来の研究とは対照的に,本手法はオープンワールドにおける未知の物体を瞬時に考慮することができる。 挑戦的なデータセットに関する私たちの結果は、もっと多くの情報を必要とする以前の作業と同等です。
• 参考スコア（独自算出の注目度）: 27.283648727847268
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating the relative pose of a new object without prior knowledge is a hard problem, while it is an ability very much needed in robotics and Augmented Reality. We present a method for tracking the 6D motion of objects in RGB video sequences when neither the training images nor the 3D geometry of the objects are available. In contrast to previous works, our method can therefore consider unknown objects in open world instantly, without requiring any prior information or a specific training phase. We consider two architectures, one based on two frames, and the other relying on a Transformer Encoder, which can exploit an arbitrary number of past frames. We train our architectures using only synthetic renderings with domain randomization. Our results on challenging datasets are on par with previous works that require much more information (training images of the target objects, 3D models, and/or depth data). Our source code is available at https://github.com/nv-nguyen/pizza
• Abstract（参考訳）: 新しい物体の相対的なポーズを事前知識なしで推定することは難しい問題であり、ロボット工学や拡張現実において非常に必要な能力である。 本稿では,トレーニング画像や物体の3次元形状が得られない場合,rgb映像列内の物体の6次元運動を追跡する手法を提案する。 先行研究とは対照的に,提案手法では,事前情報や特定のトレーニングフェーズを必要とせずに,オープンワールドにおける未知のオブジェクトを即座に検討することができる。 我々は2つのアーキテクチャを考える。1つは2つのフレームに基づいており、もう1つは任意の数の過去のフレームを活用できるトランスフォーマエンコーダに依存している。 ドメインランダム化による合成レンダリングのみを使用してアーキテクチャをトレーニングする。 挑戦的なデータセットに関する私たちの結果は、はるかに多くの情報を必要とする以前の作業(対象オブジェクトの画像、3Dモデル、および/または深度データ)と同等です。 ソースコードはhttps://github.com/nv-nguyen/pizzaで入手できます。

関連論文リスト

• Inverse Neural Rendering for Explainable Multi-Object Tracking [35.072142773300655]
  我々はRGBカメラから3Dマルチオブジェクト追跡をEmphInverse Rendering (IR)問題として再放送した。 我々は、本質的に形状と外観特性を歪ませる生成潜在空間上の画像損失を最適化する。 本手法の一般化とスケーリング能力は,合成データのみから生成前を学習することで検証する。
  論文  参考訳（メタデータ） (2024-04-18T17:37:53Z)
• iNVS: Repurposing Diffusion Inpainters for Novel View Synthesis [45.88928345042103]
  単一ソース画像から一貫した新しいビューを生成する方法を提案する。 本手法は,画像からの可視画素の再利用を最大化することに焦点を当てる。 我々は、光源ビューからターゲットビューへ可視画素を転送する単眼深度推定器を用いる。
  論文  参考訳（メタデータ） (2023-10-24T20:33:19Z)
• PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
  本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
  論文  参考訳（メタデータ） (2023-10-12T17:59:57Z)
• Visibility Aware Human-Object Interaction Tracking from Single RGB Camera [40.817960406002506]
  本稿では,1台のRGBカメラからフレーム間の3次元人・物・接触・相対変換を追跡する新しい手法を提案する。 我々は、SMPLをビデオシーケンスに予め適合させて得られたフレームごとのSMPLモデル推定に基づいて、人間と物体の脳野再構成を行う。 可視フレームからの人間と物体の動きは、隠蔽された物体を推測するための貴重な情報を提供する。
  論文  参考訳（メタデータ） (2023-03-29T06:23:44Z)
• BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects [89.2314092102403]
  モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
  論文  参考訳（メタデータ） (2023-03-24T17:13:49Z)
• Unsupervised Volumetric Animation [54.52012366520807]
  非剛性変形物体の教師なし3次元アニメーションのための新しい手法を提案する。 本手法は,RGBビデオのみからオブジェクトの3次元構造とダイナミックスを学習する。 我々は,本モデルを用いて,単一ボリュームまたは少数の画像からアニマタブルな3Dオブジェクトを得ることができることを示す。
  論文  参考訳（メタデータ） (2023-01-26T18:58:54Z)
• MegaPose: 6D Pose Estimation of Novel Objects via Render & Compare [84.80956484848505]
  MegaPoseは、トレーニング中に見えない新しいオブジェクトの6Dポーズを推定する方法である。 本稿では,新しいオブジェクトに適用可能なR&Compare戦略に基づく6次元ポーズリファインダを提案する。 第2に,合成レンダリングと同一物体の観察画像間のポーズ誤差をリファインダで補正できるか否かを分類するために訓練されたネットワークを利用する,粗いポーズ推定のための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-13T19:30:03Z)
• RayTran: 3D pose estimation and shape reconstruction of multiple objects from videos with ray-traced transformers [41.499325832227626]
  RGBビデオからの多目的3D再構成のためのトランスフォーマーベースニューラルネットワークアーキテクチャを提案する。 我々は、画像形成過程に関する知識を活用して、注意重み行列を著しく分散させる。 従来の手法と比較して、アーキテクチャは単一ステージであり、エンドツーエンドのトレーニングが可能である。
  論文  参考訳（メタデータ） (2022-03-24T18:49:12Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Shape and Viewpoint without Keypoints [63.26977130704171]
  本研究では,1枚の画像から3次元形状,ポーズ,テクスチャを復元する学習フレームワークを提案する。 我々は,3次元形状,マルチビュー,カメラ視点,キーポイントの監督なしに画像収集を訓練した。 我々は、最先端のカメラ予測結果を取得し、オブジェクト間の多様な形状やテクスチャを予測することを学べることを示す。
  論文  参考訳（メタデータ） (2020-07-21T17:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。