論文の概要: BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects

• arxiv url: http://arxiv.org/abs/2303.14158v1
• Date: Fri, 24 Mar 2023 17:13:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-27 13:35:16.418336
• Title: BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects
• Title（参考訳）: BundleSDF:ニューラル6-DoF追跡と未知物体の3次元再構成
• Authors: Bowen Wen, Jonathan Tremblay, Valts Blukis, Stephen Tyree, Thomas Muller, Alex Evans, Dieter Fox, Jan Kautz, Stan Birchfield
• Abstract要約: モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
• 参考スコア（独自算出の注目度）: 89.2314092102403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a near real-time method for 6-DoF tracking of an unknown object from a monocular RGBD video sequence, while simultaneously performing neural 3D reconstruction of the object. Our method works for arbitrary rigid objects, even when visual texture is largely absent. The object is assumed to be segmented in the first frame only. No additional information is required, and no assumption is made about the interaction agent. Key to our method is a Neural Object Field that is learned concurrently with a pose graph optimization process in order to robustly accumulate information into a consistent 3D representation capturing both geometry and appearance. A dynamic pool of posed memory frames is automatically maintained to facilitate communication between these threads. Our approach handles challenging sequences with large pose changes, partial and full occlusion, untextured surfaces, and specular highlights. We show results on HO3D, YCBInEOAT, and BEHAVE datasets, demonstrating that our method significantly outperforms existing approaches. Project page: https://bundlesdf.github.io
• Abstract（参考訳）: 本稿では,モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行うとともに,物体のニューラル3D再構成を行う。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。 オブジェクトは第1フレームのみにセグメント化されていると仮定される。 追加情報は不要で、相互作用エージェントに関する仮定は不要である。 提案手法の鍵となるのは,形状と外観の両方を捉える一貫した3次元表現にロバストに情報を蓄積するために,ポーズグラフ最適化プロセスと並行して学習するニューラルオブジェクトフィールドである。 これらのスレッド間の通信を容易にするために、ポーズ付きメモリフレームの動的プールが自動的に維持される。 提案手法では,大きなポーズ変化,部分的および完全閉塞,無テクスチャ面,特異なハイライトなどの課題に対処する。 ho3d、ycbineoat、behavior datasetsの結果を示し、この手法が既存のアプローチを大きく上回ることを示した。 プロジェクトページ: https://bundlesdf.github.io

関連論文リスト

• Inverse Neural Rendering for Explainable Multi-Object Tracking [35.072142773300655]
  我々はRGBカメラから3Dマルチオブジェクト追跡をEmphInverse Rendering (IR)問題として再放送した。 我々は、本質的に形状と外観特性を歪ませる生成潜在空間上の画像損失を最適化する。 本手法の一般化とスケーリング能力は,合成データのみから生成前を学習することで検証する。
  論文  参考訳（メタデータ） (2024-04-18T17:37:53Z)
• Tracking by 3D Model Estimation of Unknown Objects in Videos [122.56499878291916]
  この表現は限定的であり、代わりに明示的なオブジェクト表現を用いて2次元追跡をガイドし改善することを提案する。 我々の表現は、全てのビデオフレームのオブジェクト上の全ての3Dポイント間の複雑な長期密度対応問題に取り組む。 提案手法は, 最適3次元形状, テクスチャ, 6DoFのポーズを推定するために, 新たな損失関数を最小化する。
  論文  参考訳（メタデータ） (2023-04-13T11:32:36Z)
• Visibility Aware Human-Object Interaction Tracking from Single RGB Camera [40.817960406002506]
  本稿では,1台のRGBカメラからフレーム間の3次元人・物・接触・相対変換を追跡する新しい手法を提案する。 我々は、SMPLをビデオシーケンスに予め適合させて得られたフレームごとのSMPLモデル推定に基づいて、人間と物体の脳野再構成を行う。 可視フレームからの人間と物体の動きは、隠蔽された物体を推測するための貴重な情報を提供する。
  論文  参考訳（メタデータ） (2023-03-29T06:23:44Z)
• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• PIZZA: A Powerful Image-only Zero-Shot Zero-CAD Approach to 6 DoF Tracking [27.283648727847268]
  トレーニング画像も3次元形状も利用できない場合,RGBビデオシーケンス中の物体の6次元動きを追跡する手法を提案する。 従来の研究とは対照的に,本手法はオープンワールドにおける未知の物体を瞬時に考慮することができる。 挑戦的なデータセットに関する私たちの結果は、もっと多くの情報を必要とする以前の作業と同等です。
  論文  参考訳（メタデータ） (2022-09-15T19:55:13Z)
• Neural Correspondence Field for Object Pose Estimation [67.96767010122633]
  1枚のRGB画像から3次元モデルで剛体物体の6DoFポーズを推定する手法を提案する。 入力画像の画素で3次元オブジェクト座標を予測する古典的対応法とは異なり,提案手法はカメラフラストラムでサンプリングされた3次元クエリポイントで3次元オブジェクト座標を予測する。
  論文  参考訳（メタデータ） (2022-07-30T01:48:23Z)
• ShAPO: Implicit Representations for Multi-Object Shape, Appearance, and Pose Optimization [40.36229450208817]
  SAPO, 関節多物体検出法, 3次元テクスチャ再構築法, 6次元オブジェクトポーズ法, サイズ推定法を提案する。 ShAPOのキーはシングルショットのパイプラインで、各オブジェクトインスタンスのマスクとともに、形状、外観、遅延コードのポーズをレグレッションする。 提案手法は,NOCSデータセット上でのベースライン全体の性能を,6次元ポーズ推定におけるmAPの8%の絶対的な改善で著しく向上させる。
  論文  参考訳（メタデータ） (2022-07-27T17:59:31Z)
• Point2Seq: Detecting 3D Objects as Sequences [58.63662049729309]
  我々は、ポイントクラウドから3次元オブジェクトを検出するためのシンプルで効果的なフレームワーク、Point2Seqを提案する。 我々は,各3Dオブジェクトを単語列とみなし,その3Dオブジェクト検出タスクを,自動回帰的に3Dシーンからの単語の復号化として再構成する。
  論文  参考訳（メタデータ） (2022-03-25T00:20:31Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Neural Articulated Radiance Field [90.91714894044253]
  本稿では,画像から学習した明瞭な物体に対する新しい変形可能な3次元表現であるニューラルArticulated Radiance Field(NARF)を提案する。 実験の結果,提案手法は効率的であり,新しいポーズにうまく一般化できることがわかった。
  論文  参考訳（メタデータ） (2021-04-07T13:23:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。