論文の概要: In-Hand 3D Object Scanning from an RGB Sequence

• arxiv url: http://arxiv.org/abs/2211.16193v1
• Date: Mon, 28 Nov 2022 12:20:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 16:41:05.374465
• Title: In-Hand 3D Object Scanning from an RGB Sequence
• Title（参考訳）: RGBシーケンスからの手動3次元オブジェクトスキャン
• Authors: Shreyas Hampali, Tomas Hodan, Luan Tran, Lingni Ma, Cem Keskin, Vincent Lepetit
• Abstract要約: カラー画像から未知物体の3Dスキャンを行う手法を提案する。 我々は、形状とオブジェクトの外観の両方をキャプチャする、ニューラルネットワークによる暗黙の表面表現を使用する。 提案手法は,テクスチャと難解なテクスチャレス物体の形状と色を再現できることを示す。
• 参考スコア（独自算出の注目度）: 35.55154873804996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method for in-hand 3D scanning of an unknown object from a sequence of color images. We cast the problem as reconstructing the object surface from un-posed multi-view images and rely on a neural implicit surface representation that captures both the geometry and the appearance of the object. By contrast with most NeRF-based methods, we do not assume that the camera-object relative poses are known and instead simultaneously optimize both the object shape and the pose trajectory. As global optimization over all the shape and pose parameters is prone to fail without coarse-level initialization of the poses, we propose an incremental approach which starts by splitting the sequence into carefully selected overlapping segments within which the optimization is likely to succeed. We incrementally reconstruct the object shape and track the object poses independently within each segment, and later merge all the segments by aligning poses estimated at the overlapping frames. Finally, we perform a global optimization over all the aligned segments to achieve full reconstruction. We experimentally show that the proposed method is able to reconstruct the shape and color of both textured and challenging texture-less objects, outperforms classical methods that rely only on appearance features, and its performance is close to recent methods that assume known camera poses.
• Abstract（参考訳）: カラー画像のシーケンスから未知の物体を3次元的に走査する手法を提案する。 本研究では, 物体表面を多視点画像から再構成する手法として, 物体の形状と外観の両方を捉えるニューラル暗示表面表現に頼っている。 多くのNeRF方式とは対照的に、カメラ対象の相対的なポーズが知られているとは仮定せず、オブジェクト形状とポーズ軌道の両方を同時に最適化する。 全ての形状とポーズパラメータのグローバルな最適化は、ポーズの粗い初期化なしに失敗しがちであるので、最適化が成功する可能性のある、慎重に選択された重複セグメントにシーケンスを分割することから始まる漸進的なアプローチを提案する。 物体形状を漸進的に再構成し,各セグメント内で独立して物体のポーズを追跡し,その後,重なり合うフレームで推定されるポーズを調整して全てのセグメントをマージする。 最後に,全セグメントに対してグローバルな最適化を行い,完全な再構築を実現する。 提案手法は,テクスチャと難解なテクスチャレス物体の形状と色を再現し,外観のみに依存する古典的手法よりも優れており,その性能は既知のカメラのポーズを仮定する最近の手法に近いことを示す。

関連論文リスト

• RDPN6D: Residual-based Dense Point-wise Network for 6Dof Object Pose Estimation Based on RGB-D Images [13.051302134031808]
  単一のRGB-D画像を用いてオブジェクトの6DoFポーズを計算する新しい手法を提案する。 オブジェクトのポーズを直接予測する既存の手法や、ポーズ回復のためのスパースキーポイントに依存する既存の手法とは異なり、我々のアプローチは密度の高い対応を使ってこの課題に対処する。
  論文  参考訳（メタデータ） (2024-05-14T10:10:45Z)
• Free-Moving Object Reconstruction and Pose Estimation with Virtual Camera [48.28267757418792]
  本研究では,移動カメラの前方の物体と自由に対話できる手法を提案する。 本手法は,ヘッドマウントデバイスで取得した標準HO3Dデータセットと,エゴセントリックなRGBシーケンスのコレクションに基づいて評価する。
  論文  参考訳（メタデータ） (2024-05-09T15:45:08Z)
• Diff-DOPE: Differentiable Deep Object Pose Estimation [29.703385848843414]
  Diff-DOPE, 画像入力を行う6-DoFポーズ精細機, オブジェクトの3次元テクスチャモデル, オブジェクトの初期ポーズを紹介する。 この方法は、画像とモデルの投影の間の視覚的エラーを最小限に抑えるために、オブジェクトのポーズを更新するために微分可能なレンダリングを使用する。 このシンプルで効果的なアイデアは、ポーズ推定データセットで最先端の結果を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-09-30T18:52:57Z)
• FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
  本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。 本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
  論文  参考訳（メタデータ） (2023-08-10T17:55:02Z)
• BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown Objects [89.2314092102403]
  モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。 視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
  論文  参考訳（メタデータ） (2023-03-24T17:13:49Z)
• Rigidity-Aware Detection for 6D Object Pose Estimation [60.88857851869196]
  最近の6Dオブジェクトのポーズ推定方法は、最初にオブジェクト検出を使用して2Dバウンディングボックスを取得し、実際にポーズを回帰する。 本研究では,6次元ポーズ推定において対象物体が剛性であるという事実を利用した剛性認識検出手法を提案する。 このアプローチの成功の鍵となるのは可視性マップであり、これは境界ボックス内の各ピクセルとボックス境界の間の最小障壁距離を用いて構築することを提案する。
  論文  参考訳（メタデータ） (2023-03-22T09:02:54Z)
• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• Coupled Iterative Refinement for 6D Multi-Object Pose Estimation [64.7198752089041]
  既知の3DオブジェクトのセットとRGBまたはRGB-Dの入力画像から、各オブジェクトの6Dポーズを検出して推定する。 我々のアプローチは、ポーズと対応を緊密に結合した方法で反復的に洗練し、アウトレーヤを動的に除去して精度を向上させる。
  論文  参考訳（メタデータ） (2022-04-26T18:00:08Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。