論文の概要: Animating Through Warping: an Efficient Method for High-Quality Facial
Expression Animation
- arxiv url: http://arxiv.org/abs/2008.00362v1
- Date: Sat, 1 Aug 2020 23:52:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 00:38:42.592580
- Title: Animating Through Warping: an Efficient Method for High-Quality Facial
Expression Animation
- Title(参考訳): ワープによるアニメーション:高品質表情アニメーションの効率的な方法
- Authors: Zili Yi, Qiang Tang, Vishnu Sanjay Ramiya Srinivasan, Zhan Xu
- Abstract要約: 本稿では,HD画像の効率的なアニメーションを実現するために,ATW(Animating Through Warping)と呼ばれる新しいフレームワークを提案する。
小さな画像でジェネレータを訓練するだけで、どんなサイズの画像でも推論できる。
実験により,高解像度アニメーション生成における本手法の有効性と効率性を示す。
- 参考スコア(独自算出の注目度): 11.522437263308984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advances in deep neural networks have considerably improved the art of
animating a still image without operating in 3D domain. Whereas, prior arts can
only animate small images (typically no larger than 512x512) due to memory
limitations, difficulty of training and lack of high-resolution (HD) training
datasets, which significantly reduce their potential for applications in movie
production and interactive systems. Motivated by the idea that HD images can be
generated by adding high-frequency residuals to low-resolution results produced
by a neural network, we propose a novel framework known as Animating Through
Warping (ATW) to enable efficient animation of HD images.
Specifically, the proposed framework consists of two modules, a novel
two-stage neural-network generator and a novel post-processing module known as
Animating Through Warping (ATW). It only requires the generator to be trained
on small images and can do inference on an image of any size. During inference,
an HD input image is decomposed into a low-resolution component(128x128) and
its corresponding high-frequency residuals. The generator predicts the
low-resolution result as well as the motion field that warps the input face to
the desired status (e.g., expressions categories or action units). Finally, the
ResWarp module warps the residuals based on the motion field and adding the
warped residuals to generates the final HD results from the naively up-sampled
low-resolution results. Experiments show the effectiveness and efficiency of
our method in generating high-resolution animations. Our proposed framework
successfully animates a 4K facial image, which has never been achieved by prior
neural models. In addition, our method generally guarantee the temporal
coherency of the generated animations. Source codes will be made publicly
available.
- Abstract(参考訳): ディープニューラルネットワークの進歩は、3Dドメインを操作せずに静止画像をアニメーションする技術を大幅に改善した。
一方、先行技術では、メモリの制限、トレーニングの難しさ、高解像度(hd)トレーニングデータセットの欠如により、小さな画像(典型的には512x512)しかアニメーションできない。
ニューラルネットワークが生成する低分解能結果に高周波数残差を加えることでHD画像を生成することができるという考えから,我々は,HD画像の効率的なアニメーションを実現するための新しいフレームワークであるAnimating Through Warping(ATW)を提案する。
具体的には、新しい2段階のニューラルネットワークジェネレータと、Animating Through Warping (ATW)として知られる新しい後処理モジュールの2つのモジュールで構成されている。
ジェネレータを小さなイメージでトレーニングし、任意のサイズのイメージで推論することしか必要ありません。
推論中、hd入力画像は低解像度成分(128x128)と対応する高周波残差に分解される。
ジェネレータは、入力面を所望の状態(例えば、表現カテゴリまたはアクションユニット)に歪ませる動き場と同様に、低解像度の結果を予測する。
最後に、reswarpモジュールは、動き場に基づいて残差をゆがめ、ゆがんだ残差を追加して、極端にアップサンプリングされた低解像度結果から最終的なhd結果を生成する。
実験では,高分解能アニメーション生成における手法の有効性と効率を示す。
提案するフレームワークは,従来のニューラルモデルでは達成されていない4K顔画像の認識に成功している。
また,本手法は,生成したアニメーションの時間的一貫性を一般的に保証する。
ソースコードは公開される予定だ。
関連論文リスト
- ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image
Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。
本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。
我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文 参考訳(メタデータ) (2023-06-07T17:47:50Z) - Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。
我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
論文 参考訳(メタデータ) (2023-04-25T08:36:33Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳(メタデータ) (2023-03-25T13:56:33Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳(メタデータ) (2023-03-23T00:15:34Z) - Physically Plausible Animation of Human Upper Body from a Single Image [41.027391105867345]
制御可能で動的に応答し,フォトリアリスティックな人間のアニメーションを生成する新しい方法を提案する。
本システムでは,画像空間におけるインタラクションを用いて,物理的に可視な上半身アニメーション(PUBA)を生成することができる。
論文 参考訳(メタデータ) (2022-12-09T09:36:59Z) - Dynamic Neural Portraits [58.480811535222834]
フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。
本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。
実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
論文 参考訳(メタデータ) (2022-11-25T10:06:14Z) - Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。
本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。
我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
論文 参考訳(メタデータ) (2022-09-18T03:58:00Z) - GRAM-HD: 3D-Consistent Image Generation at High Resolution with
Generative Radiance Manifolds [28.660893916203747]
本稿では,ボリュームレンダリングのように厳密な3D一貫性を維持しつつ,高解像度画像(最大1024×1024)を生成できる新しい3D対応GANを提案する。
私たちのモチベーションは、3Dの一貫性を維持するために、3D空間で直接超解像度を達成することです。
FFHQおよびAFHQv2データセットを用いた実験により,本手法は高品質な3D一貫性のある結果が得られることが示された。
論文 参考訳(メタデータ) (2022-06-15T02:35:51Z) - Thin-Plate Spline Motion Model for Image Animation [9.591298403129532]
イメージアニメーションは、ドライビングビデオに従って、ソースイメージ内の静的オブジェクトに生命をもたらす。
近年の研究では、事前知識を使わずに、教師なし手法による任意の物体の移動を試みている。
ソース内のオブジェクトと駆動イメージの間に大きなポーズギャップがある場合、現在の教師なしメソッドにとって、これは依然として重要な課題である。
論文 参考訳(メタデータ) (2022-03-27T18:40:55Z) - Neural Human Video Rendering by Learning Dynamic Textures and
Rendering-to-Video Translation [99.64565200170897]
本研究では,2次元スクリーン空間に人体を埋め込むことで,時間的コヒーレントな微細な細部を学習することで,人間の映像合成手法を提案する。
我々は,人間の再現やモノクロ映像からの新たなビュー合成などのアプローチの適用例を示し,質的にも定量的にも,芸術の状態を著しく改善した。
論文 参考訳(メタデータ) (2020-01-14T18:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。