論文の概要: MulayCap: Multi-layer Human Performance Capture Using A Monocular Video Camera

• arxiv url: http://arxiv.org/abs/2004.05815v3
• Date: Thu, 1 Oct 2020 08:00:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 00:11:29.839675
• Title: MulayCap: Multi-layer Human Performance Capture Using A Monocular Video Camera
• Title（参考訳）: MulayCap:単眼ビデオカメラによる多層人間のパフォーマンスキャプチャ
• Authors: Zhaoqi Su and Weilin Wan and Tao Yu and Lingjie Liu and Lu Fang and Wenping Wang and Yebin Liu
• Abstract要約: 単眼ビデオカメラを用いた新しい人体パフォーマンスキャプチャ手法である MulayCap について,事前スキャンを必要とせずに紹介する。 この手法は、幾何再構成とテクスチャレンダリングに「多層」表現を用いる。 MulayCapは、布の編集、再ターゲット、リライト、ARアプリケーションなど、さまざまな重要な編集アプリケーションに適用できる。
• 参考スコア（独自算出の注目度）: 68.51530260071914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MulayCap, a novel human performance capture method using a monocular video camera without the need for pre-scanning. The method uses "multi-layer" representations for geometry reconstruction and texture rendering, respectively. For geometry reconstruction, we decompose the clothed human into multiple geometry layers, namely a body mesh layer and a garment piece layer. The key technique behind is a Garment-from-Video (GfV) method for optimizing the garment shape and reconstructing the dynamic cloth to fit the input video sequence, based on a cloth simulation model which is effectively solved with gradient descent. For texture rendering, we decompose each input image frame into a shading layer and an albedo layer, and propose a method for fusing a fixed albedo map and solving for detailed garment geometry using the shading layer. Compared with existing single view human performance capture systems, our "multi-layer" approach bypasses the tedious and time consuming scanning step for obtaining a human specific mesh template. Experimental results demonstrate that MulayCap produces realistic rendering of dynamically changing details that has not been achieved in any previous monocular video camera systems. Benefiting from its fully semantic modeling, MulayCap can be applied to various important editing applications, such as cloth editing, re-targeting, relighting, and AR applications.
• Abstract（参考訳）: 単眼ビデオカメラを用いた新しい人体パフォーマンスキャプチャ手法である MulayCap について,事前スキャンを必要とせずに紹介する。 この手法は、幾何再構成とテクスチャレンダリングにそれぞれ「多層」表現を用いる。 幾何再構成のために,布地を複数の幾何学的層,すなわちボディーメッシュ層と衣料品層に分解する。 その背景にある鍵となる技術は、服の形状を最適化し、入力されたビデオシーケンスに合うようにダイナミックな布を再構成する着脱ビデオ(gfv)法であり、勾配降下で効果的に解く布シミュレーションモデルに基づいている。 テクスチャレンダリングでは,各入力画像フレームをシェーディング層とアルベド層に分解し,固定アルベドマップを融合させ,シェーディング層を用いて詳細な衣服形状を解く方法を提案する。 既存の単一ビューのヒューマンパフォーマンスキャプチャシステムと比較して、"マルチレイヤ"アプローチは、人間の特定のメッシュテンプレートを取得するための面倒で時間のかかるスキャンステップをバイパスします。 実験結果から,MuleCapは従来のモノクロカメラシステムでは実現されなかった,動的に変化する細部をリアルにレンダリングすることを示した。 完全にセマンティックなモデリングから恩恵を受け、MuleCapは布の編集、再ターゲット、リライト、ARアプリケーションなど、さまざまな重要な編集アプリケーションに適用できる。

関連論文リスト

• Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
  本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。 提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
  論文  参考訳（メタデータ） (2024-07-15T13:25:07Z)
• Bridging 3D Gaussian and Mesh for Freeview Video Rendering [57.21847030980905]
  GauMeshはダイナミックシーンのモデリングとレンダリングのために3D GaussianとMeshをブリッジする。 提案手法は, 動的シーンの異なる部分を表現するために, プリミティブの適切なタイプに適応することを示す。
  論文  参考訳（メタデータ） (2024-03-18T04:01:26Z)
• Lester: rotoscope animation through video object segmentation and tracking [0.0]
  レスターはビデオからレトロスタイルの2Dアニメーションを自動的に合成する新しい方法である。 ビデオフレームはSAM(Segment Anything Model)で処理され、結果のマスクは後のフレームを通してDeAOTで追跡される。 その結果,提案手法は時間的整合性に優れており,ポーズや外観の異なる映像を正しく処理できることがわかった。
  論文  参考訳（メタデータ） (2024-02-15T11:15:54Z)
• OmnimatteRF: Robust Omnimatte with 3D Background Modeling [42.844343885602214]
  動的2次元前景層と3次元背景モデルを組み合わせた新しいビデオマッチング手法OmnimatteRFを提案する。 2Dレイヤーは被写体の詳細を保存し、3D背景は現実世界のビデオのシーンをしっかりと再構築する。
  論文  参考訳（メタデータ） (2023-09-14T14:36:22Z)
• TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering [54.35405028643051]
  スマートフォン1台でテクスチャ化されたメッシュを野生で取得するパイプラインを新たに提案する。 提案手法ではまず,RGBD支援構造を動きから導入し,フィルタした深度マップを作成できる。 我々は,高品質なメッシュを実現するニューラル暗黙表面再構成法を採用する。
  論文  参考訳（メタデータ） (2023-03-27T10:07:52Z)
• WALDO: Future Video Synthesis using Object Layer Decomposition and Parametric Flow Prediction [82.79642869586587]
  WALDOは、過去のビデオフレームを予測するための新しいアプローチである。 個々の画像は、オブジェクトマスクと小さなコントロールポイントのセットを組み合わせた複数の層に分解される。 レイヤ構造は、各ビデオ内のすべてのフレーム間で共有され、フレーム間の密接な接続を構築する。
  論文  参考訳（メタデータ） (2022-11-25T18:59:46Z)
• SLIDE: Single Image 3D Photography with Soft Layering and Depth-aware Inpainting [54.419266357283966]
  シングルイメージの3D写真は、視聴者が新しい視点から静止画を見ることを可能にする。 最近のアプローチでは、単分子深度ネットワークと塗装ネットワークを組み合わせることで、説得力のある結果が得られる。 単一画像3D撮影のためのモジュール・統一システムであるSLIDEについて述べる。
  論文  参考訳（メタデータ） (2021-09-02T16:37:20Z)
• DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras [63.186486240525554]
  deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。 本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
  論文  参考訳（メタデータ） (2021-05-01T14:32:13Z)
• MonoClothCap: Towards Temporally Coherent Clothing Capture from Monocular RGB Video [10.679773937444445]
  本稿では,モノクラーRGBビデオ入力から時間的コヒーレントな動的衣服の変形を捉える手法を提案する。 我々は,Tシャツ,ショートパンツ,ロングパンツの3種類の衣服の統計的変形モデルを構築した。 本手法は,モノクロ映像から身体と衣服の時間的コヒーレントな再構築を実現する。
  論文  参考訳（メタデータ） (2020-09-22T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。