論文の概要: SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video

• arxiv url: http://arxiv.org/abs/2201.12792v1
• Date: Sun, 30 Jan 2022 11:49:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 18:00:06.102515
• Title: SelfRecon: Self Reconstruction Your Digital Avatar from Monocular Video
• Title（参考訳）: selfrecon: デジタルアバターを単眼ビデオから自己再構築する
• Authors: Boyi Jiang, Yang Hong, Hujun Bao, Juyong Zhang
• Abstract要約: SelfReconは、単眼で回転する人間のビデオから、時空のコヒーレントなジオメトリを復元する。 明示的な方法は与えられたシーケンスに対して事前定義されたテンプレートメッシュを必要とするが、テンプレートは特定の対象に対して取得が難しい。 インプリシット法は任意の位相をサポートし、連続的な幾何学的表現により高品質である。
• 参考スコア（独自算出の注目度）: 48.23424267130425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose SelfRecon, a clothed human body reconstruction method that combines implicit and explicit representations to recover space-time coherent geometries from a monocular self-rotating human video. Explicit methods require a predefined template mesh for a given sequence, while the template is hard to acquire for a specific subject. Meanwhile, the fixed topology limits the reconstruction accuracy and clothing types. Implicit methods support arbitrary topology and have high quality due to continuous geometric representation. However, it is difficult to integrate multi-frame information to produce a consistent registration sequence for downstream applications. We propose to combine the advantages of both representations. We utilize differential mask loss of the explicit mesh to obtain the coherent overall shape, while the details on the implicit surface are refined with the differentiable neural rendering. Meanwhile, the explicit mesh is updated periodically to adjust its topology changes, and a consistency loss is designed to match both representations closely. Compared with existing methods, SelfRecon can produce high-fidelity surfaces for arbitrary clothed humans with self-supervised optimization. Extensive experimental results demonstrate its effectiveness on real captured monocular videos.
• Abstract（参考訳）: 本研究では,暗黙的かつ明示的な表現を組み合わせて,単眼で回転する人体ビデオから空間的コヒーレントなジオメトリを復元する自己修復法であるSelfReconを提案する。 明示的な方法は与えられたシーケンスに対して事前定義されたテンプレートメッシュを必要とするが、テンプレートは特定の対象に対して取得が難しい。 一方,固定トポロジーは復元精度と衣服タイプを制限している。 インプリシット法は任意の位相をサポートし、連続的な幾何学的表現により高品質である。 しかし、下流アプリケーションのための一貫した登録シーケンスを生成するために、マルチフレーム情報を統合することは困難である。 我々は両方の表現の利点を組み合わせることを提案する。 明示的なメッシュの差分マスク損失を利用してコヒーレントな全体形状を得る一方、暗黙的表面の詳細は微分可能なニューラルネットワークレンダリングによって洗練される。 一方、明示的なメッシュはトポロジの変更を調整するために定期的に更新され、一貫性の損失は両方の表現に密接にマッチするように設計されている。 既存の方法と比較して、SelfReconは、自己監督最適化を備えた任意の服を着た人間に対して、高忠実な表面を生成することができる。 広範にわたる実験結果は、実際の単眼ビデオにその効果を示す。

関連論文リスト

• Ultron: Enabling Temporal Geometry Compression of 3D Mesh Sequences using Temporal Correspondence and Mesh Deformation [2.0914328542137346]
  既存の3Dモデル圧縮手法は主に静的モデルに焦点を当てており、フレーム間情報を考慮していない。 本稿では,時間的対応とメッシュ変形を用いた任意のトポロジでメッシュ列を圧縮する方法を提案する。
  論文  参考訳（メタデータ） (2024-09-08T16:34:19Z)
• Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction [40.45683488053611]
  一貫性のあるトポロジにおける顔メッシュは、多くの顔関連アプリケーションの基盤となる。 トポロジを保存しながらメッシュ形状を直接最適化するメッシュボリュームレンダリング手法を提案する。 主要なイノベーションは、ボリュームレンダリングに必要な放射界をシミュレートするために、スパースメッシュ機能を周辺空間に広めることである。
  論文  参考訳（メタデータ） (2024-04-08T15:25:50Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• High-Quality Mesh Blendshape Generation from Face Videos via Neural Inverse Rendering [15.009484906668737]
  メッシュをベースとしたブレンドシェイプリグを,シングルあるいはスパースなマルチビュービデオから再構成する新しい手法を提案する。 実験により,シングルあるいはスパースなマルチビュービデオのフレキシブルな入力により,パーソナライズされた高忠実度ブレンドサップを再構築することを示した。
  論文  参考訳（メタデータ） (2024-01-16T14:41:31Z)
• RIGID: Recurrent GAN Inversion and Editing of Real Face Videos [73.97520691413006]
  GANのインバージョンは、実画像に強力な編集可能性を適用するのに不可欠である。 既存のビデオフレームを個別に反転させる手法は、時間の経過とともに望ましくない一貫性のない結果をもたらすことが多い。 我々は、textbfRecurrent vtextbfIdeo textbfGAN textbfInversion and etextbfDiting (RIGID) という統合されたリカレントフレームワークを提案する。 本フレームワークは,入力フレーム間の固有コヒーレンスをエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2023-08-11T12:17:24Z)
• Self-supervised Cloth Reconstruction via Action-conditioned Cloth Tracking [18.288330275993328]
  本研究では,実世界のメッシュ再構築モデルを微調整する自己教師型手法を提案する。 人間のアノテーションを必要とせずに再構成メッシュの品質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-02-19T07:48:12Z)
• RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation [110.4255414234771]
  既存のソリューションでは、大量のトレーニングデータが必要か、未知のレンダリング設定への一般化性が欠如している。 本稿では、ドメインのランダム化と微分可能なレンダリング勾配を併用してこの問題に対処する手法を提案する。 提案手法は, 再構成誤差を大幅に低減し, 未知のレンダリング構成間の一般化性が向上する。
  論文  参考訳（メタデータ） (2022-05-11T17:59:51Z)
• SCFusion: Real-time Incremental Scene Reconstruction with Semantic Completion [86.77318031029404]
  本研究では,シーン再構成とセマンティックシーン補完を段階的かつリアルタイムに共同で行うフレームワークを提案する。 我々のフレームワークは、3Dグローバルモデルでセマンティックコンプリートを正確かつ効率的に融合させるために、占有マップを処理し、ボクセル状態を活用するように設計された新しいニューラルアーキテクチャに依存している。
  論文  参考訳（メタデータ） (2020-10-26T15:31:52Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)
• Unsupervised Video Decomposition using Spatio-temporal Iterative Inference [31.97227651679233]
  マルチオブジェクトシーンの分解は、学習において急速に進化する問題である。 色情報のないモデルでも精度が高いことを示す。 本稿では, モデルの分解, セグメント化予測能力を実証し, いくつかのベンチマークデータセットにおいて, 最先端のモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-25T22:57:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。