論文の概要: Zero-shot Pose Transfer for Unrigged Stylized 3D Characters

• arxiv url: http://arxiv.org/abs/2306.00200v1
• Date: Wed, 31 May 2023 21:39:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 19:20:33.666933
• Title: Zero-shot Pose Transfer for Unrigged Stylized 3D Characters
• Title（参考訳）: 固定化3次元キャラクタのゼロショットポス転送
• Authors: Jiashun Wang, Xueting Li, Sifei Liu, Shalini De Mello, Orazio Gallo, Xiaolong Wang, Jan Kautz
• Abstract要約: 我々は、訓練において広く利用可能な非スティル化アバターのみを必要とするゼロショットアプローチを提案する。 我々は局所的な変形のパワーを利用するが、明示的な対応ラベルは必要としない。 我々のモデルは、スタイル化された四重奏法のような、アノテーションの少ないカテゴリに一般化する。
• 参考スコア（独自算出の注目度）: 87.39039511208092
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transferring the pose of a reference avatar to stylized 3D characters of various shapes is a fundamental task in computer graphics. Existing methods either require the stylized characters to be rigged, or they use the stylized character in the desired pose as ground truth at training. We present a zero-shot approach that requires only the widely available deformed non-stylized avatars in training, and deforms stylized characters of significantly different shapes at inference. Classical methods achieve strong generalization by deforming the mesh at the triangle level, but this requires labelled correspondences. We leverage the power of local deformation, but without requiring explicit correspondence labels. We introduce a semi-supervised shape-understanding module to bypass the need for explicit correspondences at test time, and an implicit pose deformation module that deforms individual surface points to match the target pose. Furthermore, to encourage realistic and accurate deformation of stylized characters, we introduce an efficient volume-based test-time training procedure. Because it does not need rigging, nor the deformed stylized character at training time, our model generalizes to categories with scarce annotation, such as stylized quadrupeds. Extensive experiments demonstrate the effectiveness of the proposed method compared to the state-of-the-art approaches trained with comparable or more supervision. Our project page is available at https://jiashunwang.github.io/ZPT
• Abstract（参考訳）: 参照アバターのポーズを様々な形状のスタイリングされた3D文字に転送することは、コンピュータグラフィックスの基本的な課題である。 既存の方法では、スタイリッシュな文字を整理する必要があるか、トレーニングの根拠として所望のポーズでスタイリッシュな文字を使用するかのどちらかである。 トレーニングでは, 広く利用可能な非スティル化アバターのみを必要とするゼロショット方式を提案し, 推論時に異なる形状のスタイリング文字を変形する。 古典的手法は三角形レベルでメッシュを変形させることで強い一般化を実現するが、これはラベル付き対応を必要とする。 我々は局所的な変形のパワーを利用するが、明確な対応ラベルは必要としない。 実験時に明示的な対応を必要とせず,半教師付き形状理解モジュールと,対象の姿勢に合わせて個々の表面点を変形する暗黙的なポーズ変形モジュールを導入する。 さらに,スタイライズされた文字のリアルで正確な変形を促すため,効率的なボリュームベーステストタイムトレーニング手順を提案する。 トレーニング時にリギングや変形したスタイル化文字は不要であるため,本モデルは,スタイル化四重項などのアノテーションの少ないカテゴリに一般化する。 提案手法の有効性を比較検討した結果,本手法の有効性を比較検討した。 私たちのプロジェクトページはhttps://jiashunwang.github.io/zptで閲覧できます。

関連論文リスト

• Portrait Diffusion: Training-free Face Stylization with Chain-of-Painting [64.43760427752532]
  顔のスタイリゼーション(face stylization)とは、顔の特定の肖像画スタイルへの変換を指す。 現在の手法では、ファインチューン事前訓練された生成モデルに対するサンプルベースの適応アプローチが必要とされる。 本稿では,ポートレートディフュージョン(Portrait Diffusion)という,トレーニング不要な顔スタイル化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-03T06:48:35Z)
• Self-supervised Learning of Implicit Shape Representation with Dense Correspondence for Deformable Objects [26.102490905989338]
  変形可能な物体に対する暗黙的形状表現を学習するための,新しい自己教師型アプローチを提案する。 本手法は, 骨格と皮膚の重量の先行を必要とせず, 符号付き距離場で表現される形状の収集のみを必要とする。 我々のモデルは大きな変形を伴う形状を表現することができ、テクスチャ転送や形状編集といった2つの典型的な応用をサポートすることができる。
  論文  参考訳（メタデータ） (2023-08-24T06:38:33Z)
• Skeleton-free Pose Transfer for Stylized 3D Characters [53.33996932633865]
  骨格リグを使わずにスタイリングされた3D文字間でポーズを自動転送する最初の方法を提案する。 そこで本稿では,対象キャラクターを目的のポーズに合わせるために,キャラクタのスキニング重みと変形変形を共同で予測する新しいポーズ伝達ネットワークを提案する。 提案手法は,既存の文字データを一対のポーズとスタイル化された形状で吸収する半教師付き方式で訓練されている。
  論文  参考訳（メタデータ） (2022-07-28T20:05:57Z)
• 3D Human Shape Style Transfer [21.73251261476412]
  本稿では,任意の静的な実字体を用いて実動文字体の形状を変更・変更する問題を考察する。 伝統的な解決策は、移動する文字から元の文字の形まで、骨格的なポーズのパラメトリゼーションに依存するポーズ転送戦略に従う。 本稿では,移動キャラクタにソース形状を伝達する代替手法について検討する。
  論文  参考訳（メタデータ） (2021-09-03T15:51:30Z)
• Learning Skeletal Articulations with Neural Blend Shapes [57.879030623284216]
  あらかじめ定義された骨格構造を有するエンベロープを用いて3次元文字を表現できるニューラルテクニックを開発している。 我々のフレームワークは、同じ調音構造を持つリグとスキンキャラクタを学習する。 関節領域の変形品質を向上させるニューラルブレンディング形状を提案します。
  論文  参考訳（メタデータ） (2021-05-06T05:58:13Z)
• SCANimate: Weakly Supervised Learning of Skinned Clothed Avatar Networks [54.94737477860082]
  本論文では,着る人間の生の3Dスキャンをイメージ可能なアバターに変える,エンドツーエンドのトレーニング可能なフレームワークを提案する。 SCANimateはカスタマイズされたメッシュテンプレートや表面メッシュ登録に依存しません。 本手法はポーズ認識型外観モデルに適用でき,完全にテクスチャ化されたアバターを生成できる。
  論文  参考訳（メタデータ） (2021-04-07T17:59:58Z)
• Unsupervised Shape and Pose Disentanglement for 3D Meshes [49.431680543840706]
  本研究では,非教師付き環境において,非教師付き形状とポーズ表現を学習するための,シンプルで効果的なアプローチを提案する。 自己整合性と相互整合性の制約を組み合わせて、登録メッシュからポーズと空間の形状を学ぶ。 ポーズ転送や形状検索などのタスクを通じて,学習した表現の有用性を示す。
  論文  参考訳（メタデータ） (2020-07-22T11:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。