論文の概要: Animating Through Warping: an Efficient Method for High-Quality Facial Expression Animation

• arxiv url: http://arxiv.org/abs/2008.00362v1
• Date: Sat, 1 Aug 2020 23:52:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-04 00:38:42.592580
• Title: Animating Through Warping: an Efficient Method for High-Quality Facial Expression Animation
• Title（参考訳）: ワープによるアニメーション:高品質表情アニメーションの効率的な方法
• Authors: Zili Yi, Qiang Tang, Vishnu Sanjay Ramiya Srinivasan, Zhan Xu
• Abstract要約: 本稿では,HD画像の効率的なアニメーションを実現するために,ATW(Animating Through Warping)と呼ばれる新しいフレームワークを提案する。 小さな画像でジェネレータを訓練するだけで、どんなサイズの画像でも推論できる。 実験により,高解像度アニメーション生成における本手法の有効性と効率性を示す。
• 参考スコア（独自算出の注目度）: 11.522437263308984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advances in deep neural networks have considerably improved the art of animating a still image without operating in 3D domain. Whereas, prior arts can only animate small images (typically no larger than 512x512) due to memory limitations, difficulty of training and lack of high-resolution (HD) training datasets, which significantly reduce their potential for applications in movie production and interactive systems. Motivated by the idea that HD images can be generated by adding high-frequency residuals to low-resolution results produced by a neural network, we propose a novel framework known as Animating Through Warping (ATW) to enable efficient animation of HD images. Specifically, the proposed framework consists of two modules, a novel two-stage neural-network generator and a novel post-processing module known as Animating Through Warping (ATW). It only requires the generator to be trained on small images and can do inference on an image of any size. During inference, an HD input image is decomposed into a low-resolution component(128x128) and its corresponding high-frequency residuals. The generator predicts the low-resolution result as well as the motion field that warps the input face to the desired status (e.g., expressions categories or action units). Finally, the ResWarp module warps the residuals based on the motion field and adding the warped residuals to generates the final HD results from the naively up-sampled low-resolution results. Experiments show the effectiveness and efficiency of our method in generating high-resolution animations. Our proposed framework successfully animates a 4K facial image, which has never been achieved by prior neural models. In addition, our method generally guarantee the temporal coherency of the generated animations. Source codes will be made publicly available.
• Abstract（参考訳）: ディープニューラルネットワークの進歩は、3Dドメインを操作せずに静止画像をアニメーションする技術を大幅に改善した。 一方、先行技術では、メモリの制限、トレーニングの難しさ、高解像度(hd)トレーニングデータセットの欠如により、小さな画像(典型的には512x512)しかアニメーションできない。 ニューラルネットワークが生成する低分解能結果に高周波数残差を加えることでHD画像を生成することができるという考えから,我々は,HD画像の効率的なアニメーションを実現するための新しいフレームワークであるAnimating Through Warping(ATW)を提案する。 具体的には、新しい2段階のニューラルネットワークジェネレータと、Animating Through Warping (ATW)として知られる新しい後処理モジュールの2つのモジュールで構成されている。 ジェネレータを小さなイメージでトレーニングし、任意のサイズのイメージで推論することしか必要ありません。 推論中、hd入力画像は低解像度成分(128x128)と対応する高周波残差に分解される。 ジェネレータは、入力面を所望の状態(例えば、表現カテゴリまたはアクションユニット)に歪ませる動き場と同様に、低解像度の結果を予測する。 最後に、reswarpモジュールは、動き場に基づいて残差をゆがめ、ゆがんだ残差を追加して、極端にアップサンプリングされた低解像度結果から最終的なhd結果を生成する。 実験では,高分解能アニメーション生成における手法の有効性と効率を示す。 提案するフレームワークは,従来のニューラルモデルでは達成されていない4K顔画像の認識に成功している。 また,本手法は,生成したアニメーションの時間的一貫性を一般的に保証する。 ソースコードは公開される予定だ。

関連論文リスト

• UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation [53.16986875759286]
  We present a UniAnimate framework to enable efficient and long-term human video generation。 我々は、姿勢案内やノイズビデオとともに参照画像を共通の特徴空間にマッピングする。 また、ランダムノイズ入力と第1フレーム条件入力をサポートする統一ノイズ入力を提案する。
  論文  参考訳（メタデータ） (2024-06-03T10:51:10Z)
• Generalizable Neural Human Renderer [29.533330467339013]
  Generalizable Human Renderer (GNH)は、単眼ビデオからアニマタブルな人間をテスト時間最適化なしでレンダリングする新しい方法である。 我々は、GNHが現在の最先端手法を上回ることを実証し、特にLPIPSの31.3%の改善を実現した。
  論文  参考訳（メタデータ） (2024-04-22T14:09:53Z)
• FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
  動的顔の3Dレンダリングは難しい問題である。 本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
  論文  参考訳（メタデータ） (2024-04-22T00:44:13Z)
• AnimateMe: 4D Facial Expressions via Diffusion Models [72.63383191654357]
  拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。 グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。 これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
  論文  参考訳（メタデータ） (2024-03-25T21:40:44Z)
• Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur [68.24599239479326]
  画像ベース表現とニューラル3D表現を結合して高品質なビュー一貫性のある画像をレンダリングするハイブリッドなニューラルレンダリングモデルを開発した。 我々のモデルは、新しいビュー合成のための最先端のポイントベース手法を超越している。
  論文  参考訳（メタデータ） (2023-04-25T08:36:33Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Dynamic Neural Portraits [58.480811535222834]
  フルヘッド再現問題に対する新しいアプローチであるDynamic Neural Portraitsを提案する。 本手法は,頭部ポーズ,表情,視線を明示的に制御し,写実的な映像像を生成する。 実験の結果,提案手法は最近のNeRF法よりも270倍高速であることがわかった。
  論文  参考訳（メタデータ） (2022-11-25T10:06:14Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• Thin-Plate Spline Motion Model for Image Animation [9.591298403129532]
  イメージアニメーションは、ドライビングビデオに従って、ソースイメージ内の静的オブジェクトに生命をもたらす。 近年の研究では、事前知識を使わずに、教師なし手法による任意の物体の移動を試みている。 ソース内のオブジェクトと駆動イメージの間に大きなポーズギャップがある場合、現在の教師なしメソッドにとって、これは依然として重要な課題である。
  論文  参考訳（メタデータ） (2022-03-27T18:40:55Z)
• Neural Human Video Rendering by Learning Dynamic Textures and Rendering-to-Video Translation [99.64565200170897]
  本研究では,2次元スクリーン空間に人体を埋め込むことで,時間的コヒーレントな微細な細部を学習することで,人間の映像合成手法を提案する。 我々は,人間の再現やモノクロ映像からの新たなビュー合成などのアプローチの適用例を示し,質的にも定量的にも,芸術の状態を著しく改善した。
  論文  参考訳（メタデータ） (2020-01-14T18:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。