論文の概要: CharacterGAN: Few-Shot Keypoint Character Animation and Reposing
- arxiv url: http://arxiv.org/abs/2102.03141v1
- Date: Fri, 5 Feb 2021 12:38:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-08 19:08:09.148385
- Title: CharacterGAN: Few-Shot Keypoint Character Animation and Reposing
- Title（参考訳）: charactergan: 少数のキーポイントキャラクターアニメーションとレポジトリ
- Authors: Tobias Hinz and Matthew Fisher and Oliver Wang and Eli Shechtman and
Stefan Wermter
- Abstract要約: 本稿では,与えられた文字の少数のサンプルに対してのみトレーニング可能な生成モデルである characterGAN を紹介する。
我々のモデルはキーポイント位置に基づいて新しいポーズを生成し、インタラクティブなフィードバックを提供しながらリアルタイムで修正することができる。
提案手法は,近年のベースラインよりも優れており,多様なキャラクタに対してリアルなアニメーションを生成する。
- 参考スコア（独自算出の注目度）: 64.19520387536741
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce CharacterGAN, a generative model that can be trained on only a
few samples (8 - 15) of a given character. Our model generates novel poses
based on keypoint locations, which can be modified in real time while providing
interactive feedback, allowing for intuitive reposing and animation. Since we
only have very limited training samples, one of the key challenges lies in how
to address (dis)occlusions, e.g. when a hand moves behind or in front of a
body. To address this, we introduce a novel layering approach which explicitly
splits the input keypoints into different layers which are processed
independently. These layers represent different parts of the character and
provide a strong implicit bias that helps to obtain realistic results even with
strong (dis)occlusions. To combine the features of individual layers we use an
adaptive scaling approach conditioned on all keypoints. Finally, we introduce a
mask connectivity constraint to reduce distortion artifacts that occur with
extreme out-of-distribution poses at test time. We show that our approach
outperforms recent baselines and creates realistic animations for diverse
characters. We also show that our model can handle discrete state changes, for
example a profile facing left or right, that the different layers do indeed
learn features specific for the respective keypoints in those layers, and that
our model scales to larger datasets when more data is available.
- Abstract（参考訳）: 与えられた文字のサンプル数(8～15)でしか訓練できない生成モデルである CharacterGAN について紹介します。
我々のモデルはキーポイント位置に基づく新しいポーズを生成し、インタラクティブなフィードバックを提供しながらリアルタイムで修正可能であり、直感的な再現とアニメーションを可能にする。
非常に限られたトレーニングサンプルしか持っていないので、重要な課題のひとつは、(dis)独占に対処する方法です。
手が身体の後ろまたは前に動くとき。
そこで我々は,入力キーポイントを個別に処理する異なる層に明示的に分割する新しい階層化手法を提案する。
これらの層はキャラクタの異なる部分を表し、強い(非)閉塞でも現実的な結果を得るのに役立つ強い暗黙のバイアスを与える。
個々のレイヤの特徴を組み合わせるために、すべてのキーポイントに条件付き適応スケーリングアプローチを使用します。
最後に、テスト時に極端な分布外ポーズで発生する歪みアーティファクトを減らすためのマスク接続制約を紹介します。
提案手法は,最近のベースラインを上回っており,多様なキャラクタに対して現実的なアニメーションを作成する。
また、当社のモデルは、例えば、左右向きのプロファイルのように、個別の状態変化を処理できること、異なるレイヤが実際には、これらのレイヤ内の各キーポイントに特有の特徴を学習できること、より多くのデータが利用可能になると、モデルがより大きなデータセットにスケールできることを示します。
関連論文リスト
- Purposer: Putting Human Motion Generation in Context [30.706219830149504]
本研究では,3次元屋内シーンに人間の動きを再現する新しい手法を提案する。
シーン内のパス、ターゲットポーズ、過去の動き、そして3Dポイントの雲として表されるシーンなど、様々な条件信号の組み合わせで制御できる。
論文 参考訳（メタデータ） (2024-04-19T15:16:04Z) - DisPositioNet: Disentangled Pose and Identity in Semantic Image
Manipulation [83.51882381294357]
DisPositioNetは、シーングラフを用いた画像操作のタスクに対して、各オブジェクトのアンタングル表現を学習するモデルである。
我々のフレームワークは、グラフ内の特徴表現と同様に、変分潜在埋め込みの切り離しを可能にする。
論文 参考訳（メタデータ） (2022-11-10T11:47:37Z) - Decoupled Multi-task Learning with Cyclical Self-Regulation for Face
Parsing [71.19528222206088]
顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。
具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。
提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-03-28T02:12:30Z) - Hierarchical Neural Implicit Pose Network for Animation and Motion
Retargeting [66.69067601079706]
HIPNetは、複数のポーズで訓練された暗黙のポーズネットワークである。
階層的な骨格に基づく表現を用いて、正準非正則空間上の符号付き距離関数を学習する。
種々の単目的および多目的のベンチマークで最先端の結果を得る。
論文 参考訳（メタデータ） (2021-12-02T03:25:46Z) - Bottom-Up Human Pose Estimation Via Disentangled Keypoint Regression [81.05772887221333]
従来のキーポイント検出およびグループ化フレームワークに劣る密度の高いキーポイント回帰フレームワークについて検討する。
我々は,dekr(disentangled keypoint regression)という,単純かつ効果的な手法を提案する。
提案手法はキーポイント検出法やグループ化法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-04-06T05:54:46Z) - Liquid Warping GAN with Attention: A Unified Framework for Human Image
Synthesis [58.05389586712485]
我々は、人間の動きの模倣、外見の移入、新しい視点の合成など、人間の画像合成に取り組む。
本稿では,ポーズと形状を乱す3次元ボディーメッシュ回収モジュールを提案する。
我々はまた、人間の動きの模倣、外観伝達、新しいビュー合成を評価するために、新しいデータセット、すなわちiPERデータセットを構築した。
論文 参考訳（メタデータ） (2020-11-18T02:57:47Z) - Neural Face Models for Example-Based Visual Speech Synthesis [2.2817442144155207]
マルチビュー映像に基づく顔の動きキャプチャのためのマーカーレスアプローチを提案する。
アニメーション中の表情をシームレスに表現するために,表情のニューラル表現を学習する。
論文 参考訳（メタデータ） (2020-09-22T07:35:33Z) - Efficient Full Image Interactive Segmentation by Leveraging Within-image
Appearance Similarity [39.17599924322882]
インタラクティブなフルイメージセマンティックセマンティックセグメンテーションのための新しいアプローチを提案する。
ラベル付き画素からラベルなしピクセルへの伝搬は必ずしもクラス固有の知識を必要としない。
この観測に基づいて,複数のクラスから画素ラベルを共同で伝播する手法を提案する。
論文 参考訳（メタデータ） (2020-07-16T08:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。