論文の概要: Neural Free-Viewpoint Performance Rendering under ComplexHuman-object Interactions

• arxiv url: http://arxiv.org/abs/2108.00362v1
• Date: Sun, 1 Aug 2021 04:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-03 15:32:46.855958
• Title: Neural Free-Viewpoint Performance Rendering under ComplexHuman-object Interactions
• Title（参考訳）: 複雑なHuman-Object相互作用下におけるニューラルな自由視点性能レンダリング
• Authors: Guoxing Sun, Xin Chen, Yizhang Chen, Anqi Pang, Pei Lin, Yuheng Jiang, Lan Xu, Jingya Wang, Jingyi Yu
• Abstract要約: 没入型VR/AR体験と人間の活動理解には,人間と物体の相互作用の4次元再構築が不可欠である。 近年の進歩は、細かなRGB入力から細かな幾何学やテクスチャ結果の回復には至っていない。 本研究では,人間と物体の高画質なテクスチャとフォトリアリスティックなテクスチャを両立させるニューラル・ヒューマン・パフォーマンス・キャプチャー・レンダリングシステムを提案する。
• 参考スコア（独自算出の注目度）: 35.41116017268475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: 4D reconstruction of human-object interaction is critical for immersive VR/AR experience and human activity understanding. Recent advances still fail to recover fine geometry and texture results from sparse RGB inputs, especially under challenging human-object interactions scenarios. In this paper, we propose a neural human performance capture and rendering system to generate both high-quality geometry and photo-realistic texture of both human and objects under challenging interaction scenarios in arbitrary novel views, from only sparse RGB streams. To deal with complex occlusions raised by human-object interactions, we adopt a layer-wise scene decoupling strategy and perform volumetric reconstruction and neural rendering of the human and object. Specifically, for geometry reconstruction, we propose an interaction-aware human-object capture scheme that jointly considers the human reconstruction and object reconstruction with their correlations. Occlusion-aware human reconstruction and robust human-aware object tracking are proposed for consistent 4D human-object dynamic reconstruction. For neural texture rendering, we propose a layer-wise human-object rendering scheme, which combines direction-aware neural blending weight learning and spatial-temporal texture completion to provide high-resolution and photo-realistic texture results in the occluded scenarios. Extensive experiments demonstrate the effectiveness of our approach to achieve high-quality geometry and texture reconstruction in free viewpoints for challenging human-object interactions.
• Abstract（参考訳）: 人間と物体のインタラクションの4次元再構築は没入型vr/ar体験と人間の活動理解に不可欠である。 近年の進歩は、細かなRGB入力から細かな幾何学やテクスチャ結果の回復には至っていない。 本稿では,粗いRGBストリームのみから,任意の斬新な視点での対話シナリオにおいて,人間と物体の高画質な形状と写真リアルなテクスチャの両方を生成するニューラルヒューマンパフォーマンスキャプチャ・レンダリングシステムを提案する。 人間とオブジェクトの相互作用によって引き起こされる複雑なオクルージョンに対処するために、階層的なシーン分離戦略を採用し、人間とオブジェクトのボリュームリコンストラクションとニューラルレンダリングを行う。 具体的には、幾何学的再構成のために、人間の再構成とオブジェクトの再構成を相関関係と共同で検討する、対話型オブジェクトキャプチャー方式を提案する。 4次元オブジェクトダイナミックリコンストラクションのために, 咬合認識型ヒューマンリコンストラクションとロバストなヒューマンアウェアオブジェクトトラッキングを提案する。 ニューラルネットワークのテクスチャレンダリングのために,方向認識型ニューラルブレンディング重み学習と時空間テクスチャ補完を組み合わせた階層的ヒューマンオブジェクトレンダリング手法を提案する。 大規模な実験により,人間と物体の相互作用に挑戦する自由視点で高品質な幾何学とテクスチャ再構築を実現する手法の有効性が示された。

関連論文リスト

• Single-image coherent reconstruction of objects and humans [16.836684199314938]
  モノクル画像から物体や人間を再構成する既存の方法は、激しいメッシュ衝突と性能制限に悩まされている。 本稿では,1つの画像から対話対象と人物を相互に一貫した3次元再構成する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-15T11:27:18Z)
• Joint Reconstruction of 3D Human and Object via Contact-Based Refinement Transformer [58.98785899556135]
  本研究では,人間と物体の接触情報を効果的に活用する新しい関節型3次元物体再構成法(CONTHO)を提案する。 本システムには,1)3次元ガイドによる接触推定と,2)接触に基づく人間と物体の微細化の2つのコア設計がある。
  論文  参考訳（メタデータ） (2024-04-07T06:01:49Z)
• Total-Decom: Decomposed 3D Scene Reconstruction with Minimal Interaction [51.3632308129838]
  人間のインタラクションを最小限に抑えた3次元再構成法であるTotal-Decomを提案する。 提案手法は,Segment Anything Model (SAM) とハイブリッド型暗黙的なニューラルサーフェス表現をシームレスに統合し,メッシュベースの領域成長技術を用いて正確な3次元オブジェクト分解を行う。 提案手法をベンチマークデータセット上で広範囲に評価し,アニメーションやシーン編集などの下流アプリケーションの可能性を示す。
  論文  参考訳（メタデータ） (2024-03-28T11:12:33Z)
• Full-Body Articulated Human-Object Interaction [61.01135739641217]
  CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。 CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。 HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
  論文  参考訳（メタデータ） (2022-12-20T19:50:54Z)
• H4D: Human 4D Modeling by Learning Neural Compositional Representation [75.34798886466311]
  この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。 単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。 本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-02T17:10:49Z)
• NeuralFusion: Neural Volumetric Rendering under Human-object Interactions [46.70371238621842]
  本稿では,スパース・コンシューマRGBDセンサを用いたボリューム・オブジェクトのキャプチャとレンダリングのためのニューラル・アプローチを提案する。 幾何学的モデリングでは,非剛性鍵体積融合を用いたニューラル暗黙的推論方式を提案する。 また,空間的領域と時間的領域の両方において,ボリュームと画像に基づくレンダリングを組み合わせた階層的ヒューマンオブジェクトテクスチャレンダリング手法を提案する。
  論文  参考訳（メタデータ） (2022-02-25T17:10:07Z)
• HDhuman: High-quality Human Novel-view Rendering from Sparse Views [15.810495442598963]
  本稿では,人間の再構成ネットワークと画素整合型空間変換器,および幾何学誘導型画素機能統合を用いたレンダリングネットワークを提案する。 提案手法は, 合成データと実世界のデータの両方において, 従来の一般的な手法や特定の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-01-20T13:04:59Z)
• HSPACE: Synthetic Parametric Humans Animated in Complex Environments [67.8628917474705]
  我々は、複雑な屋内および屋外環境に置かれたアニメーション人間による大規模な写真リアルデータセット、Human-SPACEを構築した。 年齢、性別、比率、民族性の異なる数百の個人と数百の動きとシーンを組み合わせて、100万フレームを超える最初のデータセットを生成します。 アセットは大規模に自動生成され、既存のリアルタイムレンダリングやゲームエンジンと互換性がある。
  論文  参考訳（メタデータ） (2021-12-23T22:27:55Z)
• RobustFusion: Robust Volumetric Performance Reconstruction under Human-object Interactions from Monocular RGBD Stream [27.600873320989276]
  現実のシナリオでは、さまざまなオブジェクトと複雑な相互作用を持つ人間のパフォーマンスの高品質の4D再構築が不可欠です。 近年の進歩は、信頼性の高い性能回復には至っていない。 人間と物体のインタラクションシナリオのための堅牢なボリュームパフォーマンス再構築システムであるRobustFusionを提案する。
  論文  参考訳（メタデータ） (2021-04-30T08:41:45Z)
• NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras [17.18904717379273]
  没入型VR/AR体験には, 人間の活動の4次元再構築とレンダリングが不可欠である。 近年の進歩は、細かなマルチビューRGBカメラから入力画像の細部まで詳細な形状やテクスチャの再現には至っていない。 本稿では,人間の活動の質の高い幾何学的,フォトリアリスティックなテクスチャを任意の視点で生成する,リアルタイムのニューラルヒューマンパフォーマンスキャプチャとレンダリングシステムを提案する。
  論文  参考訳（メタデータ） (2021-03-13T12:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。