論文の概要: Few-Shot Human Motion Transfer by Personalized Geometry and Texture Modeling

• arxiv url: http://arxiv.org/abs/2103.14338v1
• Date: Fri, 26 Mar 2021 09:01:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-29 12:33:09.643112
• Title: Few-Shot Human Motion Transfer by Personalized Geometry and Texture Modeling
• Title（参考訳）: パーソナライズドジオメトリとテクスチャモデリングによる人間の動き伝達
• Authors: Zhichao Huang, Xintong Han, Jia Xu, Tong Zhang
• Abstract要約: 本稿では,少数の外観入力しか持たないリアルな人体画像生成を実現する,数発の人体モーショントランスファーの新しい手法を提案する。 提案手法は定性的かつ定量的に最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 33.46041718378723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new method for few-shot human motion transfer that achieves realistic human image generation with only a small number of appearance inputs. Despite recent advances in single person motion transfer, prior methods often require a large number of training images and take long training time. One promising direction is to perform few-shot human motion transfer, which only needs a few of source images for appearance transfer. However, it is particularly challenging to obtain satisfactory transfer results. In this paper, we address this issue by rendering a human texture map to a surface geometry (represented as a UV map), which is personalized to the source person. Our geometry generator combines the shape information from source images, and the pose information from 2D keypoints to synthesize the personalized UV map. A texture generator then generates the texture map conditioned on the texture of source images to fill out invisible parts. Furthermore, we may fine-tune the texture map on the manifold of the texture generator from a few source images at the test time, which improves the quality of the texture map without over-fitting or artifacts. Extensive experiments show the proposed method outperforms state-of-the-art methods both qualitatively and quantitatively. Our code is available at https://github.com/HuangZhiChao95/FewShotMotionTransfer.
• Abstract（参考訳）: 本稿では,少数の外観入力しか持たないリアルな人体画像生成を実現する,数発の人体モーショントランスファーの新しい手法を提案する。 近年の個人移動の進歩にもかかわらず、事前の方法は多くの訓練画像を必要とし、長い訓練時間を要することが多い。 有望な方向の1つは、外見の転送にいくつかのソースイメージを必要とする、少数の人間のモーション転送を実行することである。 しかし, 良好な転送結果を得ることは特に困難である。 本稿では,人間のテクスチャマップを,ソースにパーソナライズされた表面形状(uvマップ)にレンダリングすることで,この問題に対処する。 形状生成器は,ソース画像からの形状情報と2次元キーポイントからのポーズ情報を組み合わせて,パーソナライズしたuvマップを合成する。 テクスチャ生成器は、ソース画像のテクスチャに条件付きテクスチャマップを生成して、見えない部分を埋める。 さらに、テスト時にいくつかのソース画像からテクスチャ生成器の多様体上にテクスチャマップを微調整することで、過剰なフィッティングやアーティファクトを必要とせずにテクスチャマップの品質を向上させることができる。 大規模実験により,提案手法は定性的かつ定量的に,最先端の手法よりも優れていた。 私たちのコードはhttps://github.com/HuangZhiChao95/FewShotMotionTransferで利用可能です。

関連論文リスト

• TEXGen: a Generative Diffusion Model for Mesh Textures [63.43159148394021]
  我々は、UVテクスチャ空間自体における学習の根本的な問題に焦点を当てる。 本稿では,点クラウド上にアテンション層を持つUVマップ上の畳み込みをインターリーブするスケーラブルなネットワークアーキテクチャを提案する。 テキストプロンプトとシングルビュー画像によって導かれるUVテクスチャマップを生成する7億のパラメータ拡散モデルを訓練する。
  論文  参考訳（メタデータ） (2024-11-22T05:22:11Z)
• UVMap-ID: A Controllable and Personalized UV Map Generative Model [67.71022515856653]
  制御可能でパーソナライズされたUVマップ生成モデルであるUVMap-IDを導入する。 従来の2次元の大規模学習法とは異なり,本研究では,事前学習したテキスト・画像拡散モデルの微調整を提案する。 定量的および定性的な解析は、制御可能でパーソナライズされたUVマップ生成における本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-04-22T20:30:45Z)
• TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion [64.49276500129092]
  TextureDreamerは画像誘導型テクスチャ合成法である。 少数の入力画像から任意のカテゴリでターゲットの3D形状に光沢のあるテクスチャを転送することができる。
  論文  参考訳（メタデータ） (2024-01-17T18:55:49Z)
• Generating Texture for 3D Human Avatar from a Single Image using Sampling and Refinement Networks [8.659903550327442]
  幾何学情報を組み込んだ3次元アバターのテクスチャ合成法を提案する。 サンプルネットワークは、ソース画像の隠蔽領域を埋め、テクスチャをターゲット3Dメッシュの表面と整列させる。 与えられた画像の鮮明な詳細を維持するため、サンプリングされたテクスチャと精製されたテクスチャを混合して最終テクスチャマップを生成する。
  論文  参考訳（メタデータ） (2023-05-01T16:44:02Z)
• Collecting The Puzzle Pieces: Disentangled Self-Driven Human Pose Transfer by Permuting Textures [22.559691018559697]
  自己駆動型人間のポーズ伝達手法であるPT$2$のPose Transferを提案する。 具体的には, テクスチャ情報のみを残せるように, 画像パッチを置換することで, 入力画像からポーズを除去する。 そこで我々は,マルチカーネルサイズエンコーダをトリプルブランチネットワークに採用した。
  論文  参考訳（メタデータ） (2022-10-04T20:14:47Z)
• Copy Motion From One to Another: Fake Motion Video Generation [53.676020148034034]
  人工知能の魅力的な応用は、任意の所望の動作を行う対象者のビデオを生成することである。 現在の手法では、通常、生成されたビデオの信頼性を評価するために、L2損失のGANを用いる。 本稿では,ポーズから前景画像へのマッピングの学習を容易にする理論的動機付け型Gromov-Wasserstein損失を提案する。 本手法は,人物の複雑な動きを忠実にコピーすることで,現実的な人物映像を生成できる。
  論文  参考訳（メタデータ） (2022-05-03T08:45:22Z)
• Neural Re-Rendering of Humans from a Single Image [80.53438609047896]
  本稿では,新しいユーザ定義のポーズと視点の下での人間のニューラルリレンダリング手法を提案する。 私たちのアルゴリズムは、単一の画像から再構築できるパラメトリックメッシュとして体ポーズと形状を表します。
  論文  参考訳（メタデータ） (2021-01-11T18:53:47Z)
• OSTeC: One-Shot Texture Completion [86.23018402732748]
  ワンショット3D顔テクスチャ補完のための教師なしアプローチを提案する。 提案手法では,2次元フェースジェネレータで回転画像を再構成することにより,入力画像を3次元で回転させ,見えない領域を埋め込む。 完成したテクスチャーをジェネレーターに投影することで、ターゲットイメージを先取りします。
  論文  参考訳（メタデータ） (2020-12-30T23:53:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。