論文の概要: LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human Modeling

• arxiv url: http://arxiv.org/abs/2208.08622v1
• Date: Thu, 18 Aug 2022 03:49:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 13:41:19.147874
• Title: LoRD: Local 4D Implicit Representation for High-Fidelity Dynamic Human Modeling
• Title（参考訳）: LoRD:高忠実度ダイナミックヒューマンモデリングのための局所4次元インプシット表現
• Authors: Boyan Jiang, Xinlin Ren, Mingsong Dou, Xiangyang Xue, Yanwei Fu, Yinda Zhang
• Abstract要約: そこで我々は,LoRDという,動的に衣を着る人間の局所的な4D暗黙表現を提案する。 私たちの重要な洞察は、ネットワークがローカルな部分レベルの表現の潜在コードを学ぶように促すことです。 LoRDは、4D人間を表現する能力が強く、実用上の最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 69.56581851211841
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in 4D implicit representation focuses on globally controlling the shape and motion with low dimensional latent vectors, which is prone to missing surface details and accumulating tracking error. While many deep local representations have shown promising results for 3D shape modeling, their 4D counterpart does not exist yet. In this paper, we fill this blank by proposing a novel Local 4D implicit Representation for Dynamic clothed human, named LoRD, which has the merits of both 4D human modeling and local representation, and enables high-fidelity reconstruction with detailed surface deformations, such as clothing wrinkles. Particularly, our key insight is to encourage the network to learn the latent codes of local part-level representation, capable of explaining the local geometry and temporal deformations. To make the inference at test-time, we first estimate the inner body skeleton motion to track local parts at each time step, and then optimize the latent codes for each part via auto-decoding based on different types of observed data. Extensive experiments demonstrate that the proposed method has strong capability for representing 4D human, and outperforms state-of-the-art methods on practical applications, including 4D reconstruction from sparse points, non-rigid depth fusion, both qualitatively and quantitatively.
• Abstract（参考訳）: 4次元の暗黙的表現の最近の進歩は、低次元の潜伏ベクトルによる形状と動きのグローバルな制御に焦点を当てている。 多くの深部局所表現は3d形状モデリングに有望な結果を示しているが、それらの4d表現は現存していない。 本稿では,この空白を,4次元人体モデリングと局所表現の両方の利点を生かし,衣服のしわなどの細かな表面変形をともなう高忠実な再構築が可能な,動的衣服用ローカル4次元暗黙表現(LoRD)を提案する。 特に重要な洞察は、ネットワークに局所的な部分レベルの表現の潜在コードを学ぶように促し、局所的な幾何学と時間的変形を説明することです。 実験時間における推定を行うために,まず,各時間ステップで局所的な部位を追跡する体内骨格運動を推定し,各部位の潜伏符号を異なる種類の観測データに基づいて自動復号することで最適化する。 広範な実験により, 提案手法は4次元人間の表現能力が高く, 粗点からの4次元再構成, 非剛性深部融合, 定量的および定量的に, 実用的手法よりも優れていることが示された。

関連論文リスト

• 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
  本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。 本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。 このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。 特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
  論文  参考訳（メタデータ） (2024-12-30T05:30:26Z)
• Urban4D: Semantic-Guided 4D Gaussian Splatting for Urban Scene Reconstruction [86.4386398262018]
  Urban4Dは、深い2Dセマンティックマップ生成の進歩に触発されたセマンティック誘導分解戦略である。 我々のアプローチは、信頼できるセマンティック・ガウシアンを通して潜在的に動的対象を区別する。 実世界のデータセットでの実験では、Urban4Dは従来の最先端の手法と同等または優れた品質を実現している。
  論文  参考訳（メタデータ） (2024-12-04T16:59:49Z)
• Real-time Photorealistic Dynamic Scene Representation and Rendering with 4D Gaussian Splatting [8.078460597825142]
  2次元画像から動的3Dシーンを再構成し、時間とともに多様なビューを生成することは、シーンの複雑さと時間的ダイナミクスのために困難である。 本研究では、4次元プリミティブの集合を明示的な幾何学と外観モデルを用いて最適化することにより、動的シーンの基本的な時間的レンダリング量を近似することを提案する。 我々のモデルは概念的に単純であり、異方性楕円によってパラメータ化され、空間と時間で任意に回転する4次元ガウスのパラメータと、4次元球面調和係数で表されるビュー依存および時間進化の外観から構成される。
  論文  参考訳（メタデータ） (2023-10-16T17:57:43Z)
• Deep Generative Models on 3D Representations: A Survey [81.73385191402419]
  生成モデルは、新しいインスタンスを生成することによって観測データの分布を学習することを目的としている。 最近、研究者は焦点を2Dから3Dにシフトし始めた。 3Dデータの表現は、非常に大きな課題をもたらします。
  論文  参考訳（メタデータ） (2022-10-27T17:59:50Z)
• H4D: Human 4D Modeling by Learning Neural Compositional Representation [75.34798886466311]
  この研究は、動的人間に対するコンパクトで構成的な表現を効果的に学習できる新しい枠組みを提示する。 単純で効果的な線形運動モデルを提案し, 粗く規則化された動き推定を行う。 本手法は, 高精度な動作と詳細な形状を持つ動的ヒトの回復に有効であるだけでなく, 様々な4次元人間関連タスクにも有効であることを示す。
  論文  参考訳（メタデータ） (2022-03-02T17:10:49Z)
• 4D-Net for Learned Multi-Modal Alignment [87.58354992455891]
  本稿では,3DポイントクラウドとRGBセンシング情報を利用した3Dオブジェクト検出手法である4D-Netを提案する。 様々な特徴表現や抽象化レベルにまたがる新しい接続学習を行い、また幾何学的制約を観察することで、4D情報を組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-02T16:35:00Z)
• 4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface [7.637832293935966]
  観測されていないジオメトリの非剛体運動を推定する新しいデータ駆動アプローチである4DCompleteを紹介します。 ネットワークトレーニングのために,DeformingThings4Dという大規模合成データセットを構築した。
  論文  参考訳（メタデータ） (2021-05-05T07:39:12Z)
• Learning Parallel Dense Correspondence from Spatio-Temporal Descriptors for Efficient and Robust 4D Reconstruction [43.60322886598972]
  本稿では,点雲列からの4次元形状再構成の課題に焦点をあてる。 本稿では,クロスフレーム占有領域間の連続的変換関数を捉えることにより,人間の3次元形状の時間変化を学ぶための新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2021-03-30T13:36:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。