論文の概要: gSDF: Geometry-Driven Signed Distance Functions for 3D Hand-Object Reconstruction

• arxiv url: http://arxiv.org/abs/2304.11970v1
• Date: Mon, 24 Apr 2023 10:05:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 15:21:29.836922
• Title: gSDF: Geometry-Driven Signed Distance Functions for 3D Hand-Object Reconstruction
• Title（参考訳）: gsdf:3次元ハンドオブジェクト再構成のための幾何駆動符号付き距離関数
• Authors: Zerui Chen, Shizhe Chen, Cordelia Schmid, Ivan Laptev
• Abstract要約: 我々は手の構造を利用してSDFによる形状復元の指導を行う。 我々は、ポーズ変換のキネマティック連鎖を予測し、SDFを高調波ハンドポーズと整列させる。
• 参考スコア（独自算出の注目度）: 94.46581592405066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Signed distance functions (SDFs) is an attractive framework that has recently shown promising results for 3D shape reconstruction from images. SDFs seamlessly generalize to different shape resolutions and topologies but lack explicit modelling of the underlying 3D geometry. In this work, we exploit the hand structure and use it as guidance for SDF-based shape reconstruction. In particular, we address reconstruction of hands and manipulated objects from monocular RGB images. To this end, we estimate poses of hands and objects and use them to guide 3D reconstruction. More specifically, we predict kinematic chains of pose transformations and align SDFs with highly-articulated hand poses. We improve the visual features of 3D points with geometry alignment and further leverage temporal information to enhance the robustness to occlusion and motion blurs. We conduct extensive experiments on the challenging ObMan and DexYCB benchmarks and demonstrate significant improvements of the proposed method over the state of the art.
• Abstract（参考訳）: 符号付き距離関数(SDF)は、画像から3次元形状を復元する有望な結果を最近示した魅力的なフレームワークである。 SDFは異なる形状の分解やトポロジーにシームレスに一般化するが、基礎となる3次元幾何学の明確なモデリングは欠如している。 本研究では手の構造を利用してSDFによる形状復元の指導を行う。 特に,単眼のRGB画像から手と操作対象の再構成に対処する。 この目的のために,手と物体のポーズを推定し,これらを用いて3次元再構築のガイドを行う。 より具体的には、ポーズ変換のキネマティック連鎖を予測し、SDFを高調波ハンドポーズと整列する。 形状アライメントによる3次元点の視覚特性を改善し,さらに時間情報を活用して咬合や動きのぼやきに対するロバスト性を高める。 我々は,obman および dexycb ベンチマークの難解性について広範な実験を行い,提案手法の最先端に対する有意な改善を示す。

関連論文リスト

• HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed Distance Fields [96.04424738803667]
  HOISDFは手動ポーズ推定ネットワークである。 手とオブジェクトのSDFを利用して、完全な再構築ボリュームに対してグローバルで暗黙的な表現を提供する。 そこで, HOISDFは手動ポーズ推定ベンチマークにおいて, 最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-26T22:48:37Z)
• 3D Points Splatting for Real-Time Dynamic Hand Reconstruction [13.392046706568275]
  3Dポイントスプレイティングハンドリコンストラクション(3D-PSHR)はリアルタイム・光リアルハンドリコンストラクション手法である。 本稿では,高分解能手形状表現を実現するための自己適応型標準点アップ戦略を提案する。 テクスチャをモデル化するため,本態性アルベドとポーズアウェアシェーディングの外観色を分離した。
  論文  参考訳（メタデータ） (2023-12-21T11:50:49Z)
• UniSDF: Unifying Neural Representations for High-Fidelity 3D Reconstruction of Complex Scenes with Reflections [92.38975002642455]
  大規模な複雑なシーンをリフレクションで再構成できる汎用3次元再構成手法UniSDFを提案する。 提案手法は,複雑な大規模シーンを細部と反射面で頑健に再構築することができる。
  論文  参考訳（メタデータ） (2023-12-20T18:59:42Z)
• UV-Based 3D Hand-Object Reconstruction with Grasp Optimization [23.06364591130636]
  1枚のRGB画像から手形復元と手形グリップ最適化のための新しいフレームワークを提案する。 接触領域を疎点で近似する代わりに、UV座標写像の形で密度の高い表現を提案する。 我々のパイプラインは手形復元の精度を高め、鮮やかな手形のテクスチャを生成する。
  論文  参考訳（メタデータ） (2022-11-24T05:59:23Z)
• AlignSDF: Pose-Aligned Signed Distance Fields for Hand-Object Reconstruction [76.12874759788298]
  ポーズと形状を両立させる共同学習フレームワークを提案する。 以上の結果から,SDFは形状の細部を再構築することに注力し,手・物体の復元精度を向上させることが示唆された。
  論文  参考訳（メタデータ） (2022-07-26T13:58:59Z)
• What's in your hands? 3D Reconstruction of Generic Objects in Hands [49.12461675219253]
  我々の研究は、単一のRGB画像からハンドヘルドオブジェクトを再構築することを目的としている。 通常、既知の3Dテンプレートを仮定し、問題を3Dポーズ推定に還元する以前の作業とは対照的に、我々の作業は3Dテンプレートを知らずに汎用的なハンドヘルドオブジェクトを再構成する。
  論文  参考訳（メタデータ） (2022-04-14T17:59:02Z)
• Model-based 3D Hand Reconstruction via Self-Supervised Learning [72.0817813032385]
  シングルビューのRGB画像から3Dハンドを再構成することは、様々な手構成と深さのあいまいさのために困難である。 ポーズ, 形状, テクスチャ, カメラ視点を共同で推定できる, 自己教師型3Dハンド再構成ネットワークであるS2HANDを提案する。 初めて手動アノテーションを使わずに、正確な3D手の再構築ネットワークを訓練できることを実証しました。
  論文  参考訳（メタデータ） (2021-03-22T10:12:43Z)
• Reconstruct, Rasterize and Backprop: Dense shape and pose estimation from a single image [14.9851111159799]
  本稿では,1枚の画像から6-DoFポーズとともに高密度物体再構成を行うシステムを提案する。 我々は、カメラフレームの3D再構成でループを閉じるために、差別化可能なレンダリング(特にロボティクス)の最近の進歩を活用している。
  論文  参考訳（メタデータ） (2020-04-25T20:53:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。