論文の概要: 3D Human Shape Style Transfer

• arxiv url: http://arxiv.org/abs/2109.01587v1
• Date: Fri, 3 Sep 2021 15:51:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 15:38:17.250391
• Title: 3D Human Shape Style Transfer
• Title（参考訳）: 人体形状の3次元移動
• Authors: Joao Regateiro and Edmond Boyer
• Abstract要約: 本稿では,任意の静的な実字体を用いて実動文字体の形状を変更・変更する問題を考察する。 伝統的な解決策は、移動する文字から元の文字の形まで、骨格的なポーズのパラメトリゼーションに依存するポーズ転送戦略に従う。 本稿では,移動キャラクタにソース形状を伝達する代替手法について検討する。
• 参考スコア（独自算出の注目度）: 21.73251261476412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider the problem of modifying/replacing the shape style of a real moving character with those of an arbitrary static real source character. Traditional solutions follow a pose transfer strategy, from the moving character to the source character shape, that relies on skeletal pose parametrization. In this paper, we explore an alternative approach that transfers the source shape style onto the moving character. The expected benefit is to avoid the inherently difficult pose to shape conversion required with skeletal parametrization applied on real characters. To this purpose, we consider image style transfer techniques and investigate how to adapt them to 3D human shapes. Adaptive Instance Normalisation (AdaIN) and SPADE architectures have been demonstrated to efficiently and accurately transfer the style of an image onto another while preserving the original image structure. Where AdaIN contributes with a module to perform style transfer through the statistics of the subjects and SPADE contribute with a residual block architecture to refine the quality of the style transfer. We demonstrate that these approaches are extendable to the 3D shape domain by proposing a convolutional neural network that applies the same principle of preserving the shape structure (shape pose) while transferring the style of a new subject shape. The generated results are supervised through a discriminator module to evaluate the realism of the shape, whilst enforcing the decoder to synthesise plausible shapes and improve the style transfer for unseen subjects. Our experiments demonstrate an average of $\approx 56\%$ qualitative and quantitative improvements over the baseline in shape transfer through optimization-based and learning-based methods.
• Abstract（参考訳）: 本稿では,任意の静的な実字体を用いて実動文字体の形状を変更・変更する問題を考察する。 伝統的な解決策は、運動するキャラクタから源となるキャラクタの形まで、骨格のポーズパラメトリゼーションに依存するポーズ転送戦略に従う。 本稿では,移動キャラクタにソース形状を伝達する代替手法について検討する。 期待される利点は、実際の文字に適用される骨格パラメトリゼーションで必要とされる変換の本質的に難しいポーズを避けることである。 この目的のために,画像の転送手法を検討し,それを3次元形状に適応させる方法について検討する。 Adaptive Instance Normalisation (AdaIN) と SPADE アーキテクチャは、元のイメージ構造を保存しながら、画像のスタイルを別のものに効率よく正確に転送することを実証されている。 ここで adain は主題の統計を通じてスタイル転送を行うモジュールに寄与し、spade はスタイル転送の品質を向上させるために残ったブロックアーキテクチャに寄与する。 これらのアプローチは、新しい形状のスタイルを伝達しながら形状構造(形状ポーズ)を保存するのと同じ原理を適用した畳み込みニューラルネットワークを提案することにより、3次元形状領域に拡張可能であることを示す。 生成された結果は判別器モジュールを通して監視され、形状のリアリズムを評価するとともに、デコーダを強制して妥当な形状を合成し、目に見えない被験者のスタイル転送を改善する。 本実験は,最適化および学習に基づく手法による形状移動のベースラインに対して,平均で約56\%の質的および定量的改善を示す。

関連論文リスト

• StyleDyRF: Zero-shot 4D Style Transfer for Dynamic Neural Radiance Fields [21.55426133036809]
  既存の3Dスタイル転送の取り組みは、スタイル画像とニューラルレイディアンスフィールド(NeRF)の視覚的特徴を効果的に組み合わせることができる 本稿では,4次元特徴量を表す手法であるStyleDyRFを紹介する。 提案手法は、4Dフォトリアリスティックなスタイルの転送結果をゼロショット方式でレンダリングするだけでなく、視覚的品質と一貫性の点で既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-13T07:42:21Z)
• Zero-shot Pose Transfer for Unrigged Stylized 3D Characters [87.39039511208092]
  我々は、訓練において広く利用可能な非スティル化アバターのみを必要とするゼロショットアプローチを提案する。 我々は局所的な変形のパワーを利用するが、明示的な対応ラベルは必要としない。 我々のモデルは、スタイル化された四重奏法のような、アノテーションの少ないカテゴリに一般化する。
  論文  参考訳（メタデータ） (2023-05-31T21:39:02Z)
• A Unified Arbitrary Style Transfer Framework via Adaptive Contrastive Learning [84.8813842101747]
  Unified Contrastive Arbitrary Style Transfer (UCAST)は、新しいスタイルの学習・伝達フレームワークである。 入力依存温度を導入することで,スタイル伝達のための適応型コントラスト学習方式を提案する。 本フレームワークは,スタイル表現とスタイル伝達のための並列コントラスト学習方式,スタイル分布を効果的に学習するためのドメイン拡張モジュール,スタイル伝達のための生成ネットワークという,3つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2023-03-09T04:35:00Z)
• Skeleton-free Pose Transfer for Stylized 3D Characters [53.33996932633865]
  骨格リグを使わずにスタイリングされた3D文字間でポーズを自動転送する最初の方法を提案する。 そこで本稿では,対象キャラクターを目的のポーズに合わせるために,キャラクタのスキニング重みと変形変形を共同で予測する新しいポーズ伝達ネットワークを提案する。 提案手法は,既存の文字データを一対のポーズとスタイル化された形状で吸収する半教師付き方式で訓練されている。
  論文  参考訳（メタデータ） (2022-07-28T20:05:57Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization [72.65828901909708]
  制御可能な人物画像生成は、望ましい属性を持つ現実的な人間の画像を作成することを目的としている。 本稿では,学習フロー場とワープ変調パラメータを統合した空間適応型ワープ正規化(SAWN)を提案する。 本稿では,テクスチャ・トランスファータスクの事前学習モデルを洗練するための,新たな自己学習部分置換戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-31T07:07:44Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。