論文の概要: Sparse multi-view hand-object reconstruction for unseen environments

• arxiv url: http://arxiv.org/abs/2405.01353v1
• Date: Thu, 2 May 2024 15:01:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 16:15:09.726992
• Title: Sparse multi-view hand-object reconstruction for unseen environments
• Title（参考訳）: 見えない環境におけるスパース多視点ハンドオブジェクト再構成
• Authors: Yik Lung Pang, Changjae Oh, Andrea Cavallaro,
• Abstract要約: 我々は、合成手オブジェクトデータセットに基づいてモデルをトレーニングし、実世界記録手オブジェクトデータセットを直接評価する。 目立たない手やオブジェクトをRGBから復元することは難しいが、追加の視点は再建の質を改善するのに役立つ。
• 参考スコア（独自算出の注目度）: 31.604141859402187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works in hand-object reconstruction mainly focus on the single-view and dense multi-view settings. On the one hand, single-view methods can leverage learned shape priors to generalise to unseen objects but are prone to inaccuracies due to occlusions. On the other hand, dense multi-view methods are very accurate but cannot easily adapt to unseen objects without further data collection. In contrast, sparse multi-view methods can take advantage of the additional views to tackle occlusion, while keeping the computational cost low compared to dense multi-view methods. In this paper, we consider the problem of hand-object reconstruction with unseen objects in the sparse multi-view setting. Given multiple RGB images of the hand and object captured at the same time, our model SVHO combines the predictions from each view into a unified reconstruction without optimisation across views. We train our model on a synthetic hand-object dataset and evaluate directly on a real world recorded hand-object dataset with unseen objects. We show that while reconstruction of unseen hands and objects from RGB is challenging, additional views can help improve the reconstruction quality.
• Abstract（参考訳）: 近年の手動オブジェクト再構成の研究は、主にシングルビューと密集したマルチビュー設定に焦点を当てている。 一方、シングルビュー法は、学習前の形状を利用して見えない物体を一般化するが、閉塞により不正確になる傾向がある。 一方、高密度多視点法は非常に正確であるが、余分なデータ収集なしには見当たらないオブジェクトに容易に適応できない。 対照的に、スパース・マルチビュー法は、高密度なマルチビュー法と比較して計算コストを低く保ちながら、オクルージョンに対処するために追加のビューを利用することができる。 本稿では,スパース・マルチビュー・セッティングにおける未確認物体を用いた手動物体再構成の問題点について考察する。 複数のRGB画像が同時に取得された場合、我々のモデルSVHOは、各ビューからの予測を、ビュー間の最適化を伴わずに統一された再構成に組み合わせる。 我々は、合成手オブジェクトデータセットに基づいてモデルをトレーニングし、実世界記録手オブジェクトデータセットを直接評価する。 RGBから見えない手や物体を復元することは難しいが、追加の視点は再建の質を向上させるのに役立つ。

関連論文リスト

• EasyHOI: Unleashing the Power of Large Models for Reconstructing Hand-Object Interactions in the Wild [79.71523320368388]
  本研究の目的は,手動物体のインタラクションを単一視点画像から再構築することである。 まず、手ポーズとオブジェクト形状を推定する新しいパイプラインを設計する。 最初の再構築では、事前に誘導された最適化方式を採用する。
  論文  参考訳（メタデータ） (2024-11-21T16:33:35Z)
• Real2Code: Reconstruct Articulated Objects via Code Generation [22.833809817357395]
  Real2Codeは、コード生成を通じて記述されたオブジェクトを再構築する新しいアプローチである。 まず,画像分割モデルと形状完備モデルを用いて部分形状を再構成する。 オブジェクト指向言語モデルに入力されたオブジェクト指向境界ボックスでオブジェクト部品を表現し、コードとして関節の調音を予測する。
  論文  参考訳（メタデータ） (2024-06-12T17:57:06Z)
• HOLD: Category-agnostic 3D Reconstruction of Interacting Hands and Objects from Video [70.11702620562889]
  HOLD - 単分子インタラクションビデオから手とオブジェクトを共同で再構成する最初のカテゴリーに依存しない方法。 我々は,3次元手と物体を2次元画像から切り離すことができる構成的明瞭な暗黙モデルを開発した。 本手法は,3次元手オブジェクトアノテーションに頼らず,組込みと組込みの両面において,完全教師付きベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-30T10:50:35Z)
• NeRO: Neural Geometry and BRDF Reconstruction of Reflective Objects from Multiview Images [44.1333444097976]
  未知の環境で撮影された多視点画像から反射物体の形状とBRDFを再構成するニューラルネットワークNeROを提案する。
  論文  参考訳（メタデータ） (2023-05-27T07:40:07Z)
• Reconstructing Hand-Held Objects from Monocular Video [95.06750686508315]
  本稿では,モノクロ映像から手持ち物体を再構成する手法を提案する。 トレーニングされたネットワークによってオブジェクトの幾何学を直接予測する最近の多くの手法とは対照的に、提案手法ではオブジェクトに先行する学習を一切必要としない。
  論文  参考訳（メタデータ） (2022-11-30T09:14:58Z)
• TSDF++: A Multi-Object Formulation for Dynamic Object Tracking and Reconstruction [57.1209039399599]
  我々は,シーン全体とその中のすべてのオブジェクトに対して,単一のボリュームを維持できるマップ表現を提案する。 複数の動的オブジェクト追跡および再構成シナリオにおいて,本表現は,近接して移動する他のオブジェクトによって一時的にオクルードされても,表面の正確な再構成を維持できる。 提案したTSDF++の定式化を公開合成データセット上で評価し,標準のTSDFマップ表現と比較した場合の閉塞面の復元性を示す。
  論文  参考訳（メタデータ） (2021-05-16T16:15:05Z)
• Unsupervised Learning of 3D Object Categories from Videos in the Wild [75.09720013151247]
  オブジェクトインスタンスの大規模なコレクションの複数のビューからモデルを学ぶことに重点を置いています。 再構成を大幅に改善するワープコンディショニングレイ埋め込み(WCR)と呼ばれる新しいニューラルネットワーク設計を提案する。 本評価は,既存のベンチマークを用いた複数の深部単眼再構成ベースラインに対する性能改善を示す。
  論文  参考訳（メタデータ） (2021-03-30T17:57:01Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。