論文の概要: Garment Animation NeRF with Color Editing

• arxiv url: http://arxiv.org/abs/2407.19774v1
• Date: Mon, 29 Jul 2024 08:17:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 14:45:43.876146
• Title: Garment Animation NeRF with Color Editing
• Title（参考訳）: カラー編集によるガーメントアニメーションNeRF
• Authors: Renke Wang, Meng Zhang, Jun Li, Jian Yan,
• Abstract要約: そこで本稿では, 明示的な衣料プロキシを必要とせずに, 身体動作系列から衣料アニメーションを合成する手法を提案する。 本手法は, 体の動きから衣服の動的特徴を推定し, 衣服構造を概観する。 身体の動きやカメラの視界にまたがる手法の一般化性を実証し、詳細な構造的整合性を確保する。
• 参考スコア（独自算出の注目度）: 6.357662418254495
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating high-fidelity garment animations through traditional workflows, from modeling to rendering, is both tedious and expensive. These workflows often require repetitive steps in response to updates in character motion, rendering viewpoint changes, or appearance edits. Although recent neural rendering offers an efficient solution for computationally intensive processes, it struggles with rendering complex garment animations containing fine wrinkle details and realistic garment-and-body occlusions, while maintaining structural consistency across frames and dense view rendering. In this paper, we propose a novel approach to directly synthesize garment animations from body motion sequences without the need for an explicit garment proxy. Our approach infers garment dynamic features from body motion, providing a preliminary overview of garment structure. Simultaneously, we capture detailed features from synthesized reference images of the garment's front and back, generated by a pre-trained image model. These features are then used to construct a neural radiance field that renders the garment animation video. Additionally, our technique enables garment recoloring by decomposing its visual elements. We demonstrate the generalizability of our method across unseen body motions and camera views, ensuring detailed structural consistency. Furthermore, we showcase its applicability to color editing on both real and synthetic garment data. Compared to existing neural rendering techniques, our method exhibits qualitative and quantitative improvements in garment dynamics and wrinkle detail modeling. Code is available at \url{https://github.com/wrk226/GarmentAnimationNeRF}.
• Abstract（参考訳）: モデリングからレンダリングまで、伝統的なワークフローを通じて、高忠実な衣料アニメーションを生成するのは面倒で費用もかかる。 これらのワークフローは、しばしば、キャラクターの動きの更新、視点の変化のレンダリング、または外観の編集に対する反復的なステップを必要とする。 最近のニューラルレンダリングは、計算集約的なプロセスに効率的なソリューションを提供するが、フレーム間の構造的一貫性を維持しながら、細かなしわの細部とリアルな衣服とボディの閉塞を含む複雑な衣料アニメーションのレンダリングに苦慮している。 本稿では, 明示的な衣料プロキシを必要とせずに, 身体動作系列から衣料アニメーションを直接合成する手法を提案する。 本手法は, 体の動きから衣服の動的特徴を推定し, 衣服構造を概観する。 同時に、事前に訓練された画像モデルによって生成された衣服の前と後ろの合成参照画像から、詳細な特徴を捉える。 これらの特徴は、衣料アニメーションビデオをレンダリングする神経放射場を構築するために使用される。 さらに,視覚的要素を分解することで衣料の塗り替えが可能となった。 身体の動きやカメラの視界にまたがる手法の一般化性を実証し、詳細な構造的整合性を確保する。 さらに,実物および合成衣料データにおける色編集の適用性を示す。 本手法は,既存のニューラルネットワークレンダリング技術と比較して,衣服のダイナミックスやしわのディテールモデリングの質的,定量的な改善を示す。 コードは \url{https://github.com/wrk226/GarmentAnimationNeRF} で公開されている。

関連論文リスト

• Gaussian Garments: Reconstructing Simulation-Ready Clothing with Photorealistic Appearance from Multi-View Video [66.98046635045685]
  マルチビュー映像からリアルなシミュレーション可能な衣服資産を再構築するための新しい手法を提案する。 本手法は,3次元メッシュとガウステクスチャを組み合わせた衣服を表現し,その色と高周波表面の細部をエンコードする。 この表現は、マルチビュービデオへの衣服のジオメトリの正確な登録を可能にし、照明効果からアルベドのテクスチャを遠ざけるのに役立つ。
  論文  参考訳（メタデータ） (2024-09-12T16:26:47Z)
• Towards High-Quality 3D Motion Transfer with Realistic Apparel Animation [69.36162784152584]
  本研究では,現実的なアパレルアニメーションを用いた高品質な動き伝達を目的とした新しい手法を提案する。 本稿では,2つのニューラル変形モジュールを介し,物体とアパレルの変形を学習するデータ駆動パイプラインを提案する。 本手法は各種アパレルの品質に優れた結果をもたらす。
  論文  参考訳（メタデータ） (2024-07-15T22:17:35Z)
• AniDress: Animatable Loose-Dressed Avatar from Sparse Views Using Garment Rigging Model [58.035758145894846]
  AniDressは、非常にスパースなマルチビュービデオを用いて、ゆるい服装でアニマタブルな人間のアバターを生成する新しい方法である。 身体運動と衣服運動の両方に条件付されたポーズ駆動型変形可能なニューラルラディアンス場を導入し、両方の部品を明示的に制御する。 本手法は,身体から高度に逸脱する自然の衣服のダイナミックスを描画し,目に見えない景色とポーズの両方に一般化することができる。
  論文  参考訳（メタデータ） (2024-01-27T08:48:18Z)
• Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation [27.700371215886683]
  拡散モデルは、その堅牢な生成能力のために、視覚世代研究の主流となっている。 本稿では,キャラクターアニメーションに適した新しいフレームワークを提案する。 トレーニングデータを拡張することにより、任意の文字をアニメーション化することが可能となり、他の画像とビデオの手法と比較して、文字アニメーションにおいて優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-11-28T12:27:15Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• High-Quality Animatable Dynamic Garment Reconstruction from Monocular Videos [51.8323369577494]
  そこで本研究では,モノクロビデオから高品質なアニマタブルな動的衣服をスキャンデータに頼らずに回収する手法を提案する。 様々な不明瞭なポーズに対する合理的な変形を生成するために,学習可能な衣服変形ネットワークを提案する。 提案手法は,高品質な動的衣服をコヒーレントな表面形状で再構成し,見知らぬポーズで容易にアニメーションできることを示す。
  論文  参考訳（メタデータ） (2023-11-02T13:16:27Z)
• Unsupervised Learning of Style-Aware Facial Animation from Real Acting Performances [3.95944314850151]
  本稿では, ブレンド形状, 動的テクスチャ, ニューラルレンダリングに基づく写真リアルな頭部モデルのテキスト/音声駆動アニメーションのための新しい手法を提案する。 本手法は,テキストや音声をアニメーションパラメータの列に変換する条件付きCNNに基づいている。 リアルなリアルタイムレンダリングのために、私たちは、改良された色と前景マットを演算することで、ピクセル化ベースのレンダリングを洗練するU-Netを訓練します。
  論文  参考訳（メタデータ） (2023-06-16T17:58:04Z)
• Dynamic Neural Garments [45.833166320896716]
  本稿では,身体の関節運動を取り込み,リアルな動的衣服画像列を直接生成する解を提案する。 具体的には, アバターの目標関節運動列を考慮し, ダイナミック・ニューラル・ウェアスを提案し, プラウシブル・ダイナミック・ウェアスの外観をシミュレートし, レンダリングする。
  論文  参考訳（メタデータ） (2021-02-23T17:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。