論文の概要: Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation

• arxiv url: http://arxiv.org/abs/2407.11266v1
• Date: Mon, 15 Jul 2024 22:17:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 19:11:45.536852
• Title: Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation
• Title（参考訳）: リアルアパレルアニメーションによる高画質3次元モーショントランスファーの実現に向けて
• Authors: Rong Wang, Wei Mao, Changsheng Lu, Hongdong Li,
• Abstract要約: 本研究では,現実的なアパレルアニメーションを用いた高品質な動き伝達を目的とした新しい手法を提案する。 本稿では,2つのニューラル変形モジュールを介し,物体とアパレルの変形を学習するデータ駆動パイプラインを提案する。 本手法は各種アパレルの品質に優れた結果をもたらす。
• 参考スコア（独自算出の注目度）: 69.36162784152584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Animating stylized characters to match a reference motion sequence is a highly demanded task in film and gaming industries. Existing methods mostly focus on rigid deformations of characters' body, neglecting local deformations on the apparel driven by physical dynamics. They deform apparel the same way as the body, leading to results with limited details and unrealistic artifacts, e.g. body-apparel penetration. In contrast, we present a novel method aiming for high-quality motion transfer with realistic apparel animation. As existing datasets lack annotations necessary for generating realistic apparel animations, we build a new dataset named MMDMC, which combines stylized characters from the MikuMikuDance community with real-world Motion Capture data. We then propose a data-driven pipeline that learns to disentangle body and apparel deformations via two neural deformation modules. For body parts, we propose a geodesic attention block to effectively incorporate semantic priors into skeletal body deformation to tackle complex body shapes for stylized characters. Since apparel motion can significantly deviate from respective body joints, we propose to model apparel deformation in a non-linear vertex displacement field conditioned on its historic states. Extensive experiments show that our method produces results with superior quality for various types of apparel. Our dataset is released in https://github.com/rongakowang/MMDMC.
• Abstract（参考訳）: 参照モーションシーケンスにマッチするようにスタイリングされたキャラクターをアニメーションすることは、映画やゲーム産業において非常に要求の多いタスクである。 既存の手法は主に文字体の剛性変形に焦点を合わせ、物理力学によって駆動されるアパレルの局所的な変形を無視する。 彼らは体と同じようにアパレルを変形させ、その結果は限定された詳細と非現実的なアーティファクト、例えばボディ・アパレルの浸透をもたらす。 対照的に,現実的なアパレルアニメーションを用いた高品質な動き伝達を目的とした新しい手法を提案する。 既存のデータセットには現実的なアパレルアニメーションを生成するのに必要なアノテーションがないため、MikuMikuDanceコミュニティのスタイル化された文字と実世界のモーションキャプチャーデータを組み合わせたMDMCと呼ばれる新しいデータセットを構築します。 次に,2つのニューラル変形モジュールを介して体を歪め,アパレル変形を学習するデータ駆動パイプラインを提案する。 そこで本研究では, 身体の複雑な形状に対応するために, セマンティック先行を骨格の変形に効果的に組み込むジオデシックアテンションブロックを提案する。 アパレル運動は各体接合部から大きく逸脱するので, 歴史的条件を条件とした非線形頂点変位場におけるアパレル変形をモデル化することを提案する。 実験により, 各種アパレルの品質に優れた結果が得られた。 私たちのデータセットはhttps://github.com/rongakowang/MMDMCで公開されています。

関連論文リスト

• PICA: Physics-Integrated Clothed Avatar [30.277983921620663]
  PICAは, 物理学的精度のよい, 高忠実でアニマタブルな人間のアバターを, ゆるやかな衣服でも表現できる新しい表現法である。 提案手法は, 複雑で斬新な運転ポーズにおいて, 人体の高忠実なレンダリングを実現し, 従来手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-07-07T10:23:21Z)
• AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model [58.035758145894846]
  AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。 身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。 本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
  論文  参考訳（メタデータ） (2024-01-27T08:48:18Z)
• TapMo: Shape-aware Motion Generation of Skeleton-free Characters [64.83230289993145]
  骨格のない3Dキャラクタの広帯域における動作のためのテキスト駆動アニメーションパイプラインであるTapMoを提案する。 TapMoはMesh Handle PredictorとShape-aware Diffusion Moduleの2つの主要コンポーネントで構成されている。
  論文  参考訳（メタデータ） (2023-10-19T12:14:32Z)
• Physics-based Motion Retargeting from Sparse Inputs [73.94570049637717]
  商用AR/VR製品はヘッドセットとコントローラーのみで構成されており、ユーザーのポーズのセンサーデータは非常に限られている。 本研究では, 多様な形態のキャラクタに対して, 粗い人間のセンサデータからリアルタイムに動きをターゲットする手法を提案する。 アバターのポーズは、下半身のセンサー情報がないにもかかわらず、驚くほどよくユーザと一致していることを示す。
  論文  参考訳（メタデータ） (2023-07-04T21:57:05Z)
• PERGAMO: Personalized 3D Garments from Monocular Video [6.8338761008826445]
  PERGAMOはモノクロ画像から3D衣服の変形可能なモデルを学ぶためのデータ駆動型アプローチである。 まず,1枚の画像から衣服の3次元形状を再構築する新しい手法を紹介し,それを用いて単眼ビデオから衣服のデータセットを構築する。 本手法は,実世界の動作にマッチする衣料アニメーションを作成でき,モーションキャプチャーデータセットから抽出した身体の動きを一般化できることを示す。
  論文  参考訳（メタデータ） (2022-10-26T21:15:54Z)
• Capturing and Animation of Body and Clothing from Monocular Video [105.87228128022804]
  メッシュベース体とニューラル放射場を組み合わせたハイブリッドモデルであるSCARFを提案する。 メッシュをレンダリングに統合することで、モノクロビデオから直接SCARFを最適化できます。 本研究は,SCARFが従来の方法よりも高品質な衣服であり,身体のポーズや体型の変化とともに衣服が変形し,異なる被験者のアバター間で衣服の移動が成功できることを実証する。
  論文  参考訳（メタデータ） (2022-10-04T19:34:05Z)
• Motion Guided Deep Dynamic 3D Garments [45.711340917768766]
  動作ガイドによるダイナミックな3D衣料、特にゆるい衣料品に焦点をあてる。 データ駆動のセットアップで、我々はまず、可塑性な衣服幾何学の生成空間を学習する。 複数の最先端の代替手段に比較して改善を示す。
  論文  参考訳（メタデータ） (2022-09-23T07:17:46Z)
• Real-time Deep Dynamic Characters [95.5592405831368]
  本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。 我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。 本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
  論文  参考訳（メタデータ） (2021-05-04T23:28:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。