論文の概要: Single Source One Shot Reenactment using Weighted motion From Paired Feature Points

• arxiv url: http://arxiv.org/abs/2104.03117v1
• Date: Wed, 7 Apr 2021 13:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 12:47:58.094394
• Title: Single Source One Shot Reenactment using Weighted motion From Paired Feature Points
• Title（参考訳）: 重み付き運動を用いた対特徴点からの単一音源1ショット再現
• Authors: Soumya Tripathy, Juho Kannala, Esa Rahtu
• Abstract要約: 自己教師付きセットアップで形状非依存な動作特徴を学習する新しい(顔)再現モデルを提案する。 モデルは、ソースidをそのまま保持しながら、駆動動作をソースに忠実に転送する。
• 参考スコア（独自算出の注目度）: 26.210285908770377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image reenactment is a task where the target object in the source image imitates the motion represented in the driving image. One of the most common reenactment tasks is face image animation. The major challenge in the current face reenactment approaches is to distinguish between facial motion and identity. For this reason, the previous models struggle to produce high-quality animations if the driving and source identities are different (cross-person reenactment). We propose a new (face) reenactment model that learns shape-independent motion features in a self-supervised setup. The motion is represented using a set of paired feature points extracted from the source and driving images simultaneously. The model is generalised to multiple reenactment tasks including faces and non-face objects using only a single source image. The extensive experiments show that the model faithfully transfers the driving motion to the source while retaining the source identity intact.
• Abstract（参考訳）: 画像再現は、原画像中の対象オブジェクトが、駆動画像に表される動きを模倣するタスクである。 最も一般的な再現作業の1つは、顔画像アニメーションである。 現在の顔再現アプローチにおける大きな課題は、顔の動きとアイデンティティを区別することだ。 このため、運転と音源の同一性が異なる場合(対人再現)、以前のモデルは高品質なアニメーションを作成するのに苦労している。 自己教師付きセットアップで形状非依存な動作特徴を学習する新しい(顔)再現モデルを提案する。 動きは、ソースから抽出された一組の特徴点と、同時に駆動画像を用いて表現される。 モデルは、単一のソースイメージのみを使用して顔や非顔オブジェクトを含む複数の再現タスクに一般化される。 実験により、モデルがソースの同一性を保ちながら、駆動動作を確実にソースに転送することを示す。

関連論文リスト

• FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features [17.531847357428454]
  顔再現の課題は、頭部の動きと表情を駆動ビデオからソース画像の外観に転送することである。 既存の手法の多くはCNNベースであり、ソース画像から現在の駆動フレームへの光の流れを推定する。 本稿では,ソースコードのセットラテント表現を演算するためのトランスフォーマーベースのエンコーダを提案する。
  論文  参考訳（メタデータ） (2024-04-15T12:37:26Z)
• HyperReenact: One-Shot Reenactment via Jointly Learning to Refine and Retarget Faces [47.27033282706179]
  提案手法は,音源識別のリアルな音声頭部画像を生成することを目的とした,HyperReenactと呼ばれるニューラルフェイス再現法を提案する。 提案手法は, 単発設定(すなわち, 単一音源フレーム)の下で動作し, 被検体固有の微調整を必要とせず, クロスオブジェクトの再現を可能にする。 我々は,VoxCeleb1とVoxCeleb2の標準ベンチマークにおけるいくつかの最先端技術と比較した。
  論文  参考訳（メタデータ） (2023-07-20T11:59:42Z)
• StyleMask: Disentangling the Style Space of StyleGAN2 for Neural Face Reenactment [47.27033282706179]
  本研究では,顔の特徴をそのポーズから切り離すフレームワークを提案する。 提案手法は, 極端なポーズ変動であっても, 高品質な結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-09-27T13:22:35Z)
• Everything's Talkin': Pareidolia Face Reenactment [119.49707201178633]
  pareidolia face reenactmentは、ビデオ中の人間の顔とタンデムで動く静的なイラストリーフェイスのアニメーションと定義されている。 顔再現法と従来の顔再現法との差異が大きいため, 形状のばらつきとテクスチャのばらつきが導入された。 この2つの課題に取り組むために,新しいパラメトリック非教師なし再現アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-07T11:19:13Z)
• LI-Net: Large-Pose Identity-Preserving Face Reenactment Network [14.472453602392182]
  大規模ID保存顔再生ネットワークLI-Netを提案します。 特にランドマーク変換器は、走行するランドマーク画像を調整するために採用されている。 Face Rotation ModuleとExpression Enhancing Generatorは、変換されたランドマーク画像をポーズと式の特徴に分離し、それらの属性を別々に再現してアイデンティティ保護顔を生成する。
  論文  参考訳（メタデータ） (2021-04-07T01:41:21Z)
• Head2HeadFS: Video-based Head Reenactment with Few-shot Learning [64.46913473391274]
  ヘッド再アクティベーションは、ヘッドポーズ全体をソースの人からターゲットに転送することを目的とした挑戦的なタスクです。 頭部再生のための新しい適応性パイプラインであるhead2headfsを提案する。 当社のビデオベースのレンダリングネットワークは、ほんの数サンプルを使用して、数ショットの学習戦略の下で微調整されます。
  論文  参考訳（メタデータ） (2021-03-30T10:19:41Z)
• Image Animation with Perturbed Masks [95.94432031144716]
  我々は,同じタイプのオブジェクトを描画する駆動ビデオにより,ソースイメージの画像アニメーションのための新しいアプローチを提案する。 我々はポーズモデルの存在を前提とせず、オブジェクトの構造を知ることなく任意のオブジェクトをアニメーション化することができる。
  論文  参考訳（メタデータ） (2020-11-13T14:17:17Z)
• FACEGAN: Facial Attribute Controllable rEenactment GAN [24.547319786399743]
  顔の再現は、運転画像から人物の身元と顔の動きを抽出する一般的なアニメーション手法である。 近年の研究では、顔のランドマークに基づく動き表現と、生成的対向ネットワークを組み合わせることで、高品質な結果が示されている。 本稿では,行動単位(AU)表現を介して運転顔から顔の動きを伝達するFACEGAN(Facial Attribute Controllable rEenactment GAN)を提案する。
  論文  参考訳（メタデータ） (2020-11-09T14:04:15Z)
• FaR-GAN for One-Shot Face Reenactment [20.894596219099164]
  本稿では,任意の音源の顔画像とターゲット表現のみを入力として用いた一発顔再現モデルFaR-GANを提案する。 提案手法は,音源の同一性,表情,頭部ポーズ,さらには画像背景についても仮定しない。
  論文  参考訳（メタデータ） (2020-05-13T16:15:37Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。