論文の概要: MOSS: Motion-based 3D Clothed Human Synthesis from Monocular Video

• arxiv url: http://arxiv.org/abs/2405.12806v3
• Date: Sat, 22 Jun 2024 02:00:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 00:43:06.869516
• Title: MOSS: Motion-based 3D Clothed Human Synthesis from Monocular Video
• Title（参考訳）: MOSS:モノクルビデオからのモーションベース3D合成
• Authors: Hongsheng Wang, Xiang Cai, Xi Sun, Jinhong Yue, Zhanyun Tang, Shengyu Zhang, Feng Lin, Fei Wu,
• Abstract要約: ワンビューの人間の再構築は、仮想現実の応用において中心的な位置を占めている。 現在の手法は、運動が表面の変形に与える影響をしばしば見落とし、その結果、表面は大域的な動きによって課される制約を欠いている。 運動に基づく3次元衣料合成 (MOSS) を導入し, 運動認識型ガウス分割を実現する。
• 参考スコア（独自算出の注目度）: 14.683309699648175
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Single-view clothed human reconstruction holds a central position in virtual reality applications, especially in contexts involving intricate human motions. It presents notable challenges in achieving realistic clothing deformation. Current methodologies often overlook the influence of motion on surface deformation, resulting in surfaces lacking the constraints imposed by global motion. To overcome these limitations, we introduce an innovative framework, Motion-Based 3D Clo}thed Humans Synthesis (MOSS), which employs kinematic information to achieve motion-aware Gaussian split on the human surface. Our framework consists of two modules: Kinematic Gaussian Locating Splatting (KGAS) and Surface Deformation Detector (UID). KGAS incorporates matrix-Fisher distribution to propagate global motion across the body surface. The density and rotation factors of this distribution explicitly control the Gaussians, thereby enhancing the realism of the reconstructed surface. Additionally, to address local occlusions in single-view, based on KGAS, UID identifies significant surfaces, and geometric reconstruction is performed to compensate for these deformations. Experimental results demonstrate that MOSS achieves state-of-the-art visual quality in 3D clothed human synthesis from monocular videos. Notably, we improve the Human NeRF and the Gaussian Splatting by 33.94% and 16.75% in LPIPS* respectively. Codes are available at https://wanghongsheng01.github.io/MOSS/.
• Abstract（参考訳）: 単一視点の人間の再構築は、仮想現実の応用、特に複雑な人間の動きを含む文脈において中心的な位置を占める。 これは、現実的な衣服の変形を達成する上での顕著な課題である。 現在の手法は、運動が表面の変形に与える影響をしばしば見落とし、その結果、表面は大域的な動きによって課される制約を欠いている。 これらの制約を克服するために,動作対応のガウス分割を実現するために,運動情報を利用した3次元クローン合成(MOSS)という革新的なフレームワークを導入する。 本フレームワークは,KGAS (Kinematic Gaussian Locating Splatting) とUID (Surface deformation Detector) の2つのモジュールから構成される。 KGASは、体表面を横切る大域的な運動を伝播するためにマトリックス・フィッシャー分布を包含する。 この分布の密度と回転係数はガウスを明示的に制御し、再構成された表面の現実性を高める。 さらに,KGASに基づく単一視点での局所閉塞に対処するため,UIDは重要な表面を同定し,これらの変形を補うために幾何的再構成を行う。 実験により,MOSSはモノクロビデオからの3次元衣料合成において,最先端の視覚的品質を実現することが示された。 特に,ヒトNeRFとガウススプラッティングをそれぞれ33.94%,LPIPS*で16.75%改善した。 コードはhttps://wanghongsheng01.github.io/MOSS/で公開されている。

関連論文リスト

• Expressive Gaussian Human Avatars from Monocular RGB Video [69.56388194249942]
  EVAは3DガウスとSMPL-Xに基づいて細部を巧みに彫刻する乾燥可能な人間モデルである。 SMPL-XモデルをRGBフレームに整合させることが,効果的なアバター学習において重要であることを強調した。 本稿では,勾配閾値を適応的に調整する適応密度制御戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-03T15:36:27Z)
• Hybrid 3D Human Pose Estimation with Monocular Video and Sparse IMUs [15.017274891943162]
  モノクロビデオからの時間的3Dポーズ推定は、人間中心のコンピュータビジョンにおいて難しい課題である。 情報ソースを補完するために慣性センサが導入された。 物理的に合理的な3Dポーズを生成するために、異種センサデータを統合することは依然として困難である。
  論文  参考訳（メタデータ） (2024-04-27T09:02:42Z)
• Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
  TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。 人体全体の動きや部分レベルの物体の動きを複雑に捉えます。 本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
  論文  参考訳（メタデータ） (2024-03-13T15:45:04Z)
• Gaussian Splashing: Unified Particles for Versatile Motion Synthesis and Rendering [41.589093951039814]
  立体と流体の物理アニメーションを3Dガウススティング(3DGS)と統合し、3DGSを用いて再構成された仮想シーンにおける新たな効果を創出する。 我々のフレームワークは動的流体上の表面ハイライトを現実的に再現し、新しいビューからシーンオブジェクトと流体間の相互作用を容易にする。
  論文  参考訳（メタデータ） (2024-01-27T06:45:22Z)
• MACS: Mass Conditioned 3D Hand and Object Motion Synthesis [68.40728343078257]
  質量のような物体の物理的性質は、我々の手でそれを操作する方法に大きな影響を与えます。 本研究は,MAss Conditioned 3D Hand and Object Motion Synthesis approachを提案する。 提案手法は, カスケード拡散モデルに基づいて, 対象質量と相互作用タイプに基づいて, 合理的に調整可能な相互作用を生成する。
  論文  参考訳（メタデータ） (2023-12-22T18:59:54Z)
• GraMMaR: Ground-aware Motion Model for 3D Human Motion Reconstruction [61.833152949826946]
  本研究では,GraMMaRという3次元人体動作再構成のための新しいグラウンド・アウェア・モーション・モデルを提案する。 GraMMaRは、動きシーケンスの各時間ステップにおいて、ポーズにおける遷移の分布と、各関節面と接地面の間の相互作用を学習する。 運動と地面への距離変化との整合性を明確に促進するように訓練されている。
  論文  参考訳（メタデータ） (2023-06-29T07:22:20Z)
• MoDA: Modeling Deformable 3D Objects from Casual Videos [84.29654142118018]
  神経二元四元系ブレンドスキンニング(NeuDBS)を提案し,スキンを折り畳むことなく3次元点変形を実現する。 異なるフレーム間で2Dピクセルを登録する試みにおいて、標準空間内の3D点を符号化する標準特徴埋め込みの対応性を確立する。 本手法は,ヒトと動物の3Dモデルを,最先端の手法よりも質的,定量的な性能で再構築することができる。
  論文  参考訳（メタデータ） (2023-04-17T13:49:04Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• SCALE: Modeling Clothed Humans with a Surface Codec of Articulated Local Elements [62.652588951757764]
  衣服のモデル化と再構成は、調音性、非剛性変形、衣服の種類や地形の変化などにより困難である。 最近の研究では、ニューラルネットワークを使ってローカルな表面要素をパラメータ化している。 まず、人間の体モデルに基づいて表面要素を変形させます。 第2に,局所的な特徴から局所的な幾何学を回帰させることにより,既存の神経表面要素の制限を解消する。
  論文  参考訳（メタデータ） (2021-04-15T17:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。