論文の概要: NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction

• arxiv url: http://arxiv.org/abs/2402.05532v2
• Date: Fri, 9 Feb 2024 13:00:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 19:18:59.150420
• Title: NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction
• Title（参考訳）: NCRF:ハンドオブジェクトインタラクションの自由視点レンダリングのための神経接触放射場
• Authors: Zhongqun Zhang and Jifei Song and Eduardo P\'erez-Pellitero and Yiren Zhou and Hyung Jin Chang and Ale\v{s} Leonardis
• Abstract要約: ビデオのスパース集合から手動物体間相互作用を再構成するための新しいフリーポイントレンダリングフレームワークであるニューラルコンタクトレーダランスフィールド(NCRF)を提案する。 私たちはこれらの重要なコンポーネントを共同で学び、視覚的および幾何学的制約で相互に助け合い、規則化します。 提案手法は、レンダリング品質とポーズ推定精度の両方の観点から、現在の最先端技術よりも優れています。
• 参考スコア（独自算出の注目度）: 19.957593804898064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling hand-object interactions is a fundamentally challenging task in 3D computer vision. Despite remarkable progress that has been achieved in this field, existing methods still fail to synthesize the hand-object interaction photo-realistically, suffering from degraded rendering quality caused by the heavy mutual occlusions between the hand and the object, and inaccurate hand-object pose estimation. To tackle these challenges, we present a novel free-viewpoint rendering framework, Neural Contact Radiance Field (NCRF), to reconstruct hand-object interactions from a sparse set of videos. In particular, the proposed NCRF framework consists of two key components: (a) A contact optimization field that predicts an accurate contact field from 3D query points for achieving desirable contact between the hand and the object. (b) A hand-object neural radiance field to learn an implicit hand-object representation in a static canonical space, in concert with the specifically designed hand-object motion field to produce observation-to-canonical correspondences. We jointly learn these key components where they mutually help and regularize each other with visual and geometric constraints, producing a high-quality hand-object reconstruction that achieves photo-realistic novel view synthesis. Extensive experiments on HO3D and DexYCB datasets show that our approach outperforms the current state-of-the-art in terms of both rendering quality and pose estimation accuracy.
• Abstract（参考訳）: ハンドオブジェクトインタラクションのモデリングは、3dコンピュータビジョンにおける根本的な課題である。 この分野で達成された顕著な進歩にもかかわらず、既存の手法は、手と物体間の重度の相互閉塞に起因する劣化したレンダリング品質に悩まされ、手と物体の相互作用をフォトリアリスティックに合成することができない。 これらの課題に対処するために,手動インタラクションをスパースビデオから再構築する,新しい自由視点レンダリングフレームワークであるNCRF(Neural Contact Radiance Field)を提案する。 特に提案されているNCRFフレームワークは2つの重要なコンポーネントから構成されている。 (a)手と物体との望ましい接触を実現するために、3Dクエリポイントから正確な接触場を予測する接触最適化フィールド。 b) 静的な正準空間における暗黙的な手対象表現を学習するための手対象の神経放射場は、特別に設計された手対象の運動場と相まって、観察とカノニカル対応を生成する。 我々はこれらの重要な要素を共同で学習し、視覚的および幾何学的制約で相互に助け合い、規則化し、フォトリアリスティックな新規ビュー合成を実現する高品質な手オブジェクト再構成を実現する。 ho3dとdexycbデータセットに関する広範な実験は、レンダリング品質とポーズ推定精度の両方において、我々のアプローチが現在の最先端を上回っていることを示している。

関連論文リスト

• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views [41.50710846018882]
  スパースビューから手動物体間相互作用を推定するニューラルレンダリングとポーズ推定システムを提案する。 まず,手や物体の形状や外観を,神経表現と別々に学習する。 オンライン段階では、動的手-物体相互作用を理解するためのレンダリングベースのジョイントモデルフィッティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-22T05:17:41Z)
• Learning Explicit Contact for Implicit Reconstruction of Hand-held Objects from Monocular Images [59.49985837246644]
  我々は,手持ちの物体を暗黙的に再構築する上で,明示的な方法で接触をモデル化する方法を示す。 まず,1つの画像から3次元手オブジェクトの接触を直接推定するサブタスクを提案する。 第2部では,ハンドメッシュ面から近傍の3次元空間へ推定された接触状態を拡散する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T17:59:26Z)
• HandNeRF: Neural Radiance Fields for Animatable Interacting Hands [122.32855646927013]
  神経放射場(NeRF)を用いて手の動きを正確に再現する新しい枠組みを提案する。 我々は,提案するHandNeRFのメリットを検証するための広範囲な実験を行い,その成果を報告する。
  論文  参考訳（メタデータ） (2023-03-24T06:19:19Z)
• Hand-Object Interaction Image Generation [135.87707468156057]
  この仕事は、新しいタスク、すなわち手動オブジェクトのインタラクション画像生成に特化している。 与えられた手、オブジェクト、それらの相互作用状態の下で、条件付きハンドオブジェクト画像を生成することを目的としている。 このタスクは、AR/VRゲームやオンラインショッピングなど、多くの潜在的なアプリケーションシナリオにおいて、挑戦的で研究に値するものだ。
  論文  参考訳（メタデータ） (2022-11-28T18:59:57Z)
• TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion Refinement [42.3418874174372]
  そこで本研究では,データを用いた不正確な3次元手オブジェクトインタラクションシーケンスの精細化手法TOCHを提案する。 時間分解オートエンコーダを用いた可塑性TOCH場の潜在多様体を学習する。 実験により、TOCHは最先端の3Dハンドオブジェクトインタラクションモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-16T20:41:45Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)
• Leveraging Photometric Consistency over Time for Sparsely Supervised Hand-Object Reconstruction [118.21363599332493]
  本稿では,ビデオ中のフレームの粗いサブセットに対してのみアノテーションが利用できる場合に,時間とともに光度整合性を活用する手法を提案する。 本モデルでは,ポーズを推定することにより,手や物体を3Dで共同で再構成するカラーイメージをエンドツーエンドに訓練する。 提案手法は,3次元手動画像再構成の精度向上に有効であることを示す。
  論文  参考訳（メタデータ） (2020-04-28T12:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。