論文の概要: Expression Domain Translation Network for Cross-domain Head Reenactment

• arxiv url: http://arxiv.org/abs/2310.10073v2
• Date: Mon, 6 Nov 2023 09:40:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 20:11:28.490761
• Title: Expression Domain Translation Network for Cross-domain Head Reenactment
• Title（参考訳）: クロスドメイン頭部再現のための表現領域翻訳ネットワーク
• Authors: Taewoong Kang, Jeongsik Oh, Jaeseong Lee, Sunghyun Park, Jaegul Choo
• Abstract要約: クロスドメインの頭文字再現は、人間の動きを漫画のキャラクターを含む人間の外部のドメインに転送することを目的としている。 以前の作業では、AnimeCelebと呼ばれる大規模なアニメデータセットと、クロスドメインのヘッド再現モデルが導入されていた。 本稿では,人間の表情をアニメ表現に変換する新しい表現領域翻訳ネットワークを提案する。
• 参考スコア（独自算出の注目度）: 35.42539568449744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable advancements in head reenactment, the existing methods face challenges in cross-domain head reenactment, which aims to transfer human motions to domains outside the human, including cartoon characters. It is still difficult to extract motion from out-of-domain images due to the distinct appearances, such as large eyes. Recently, previous work introduced a large-scale anime dataset called AnimeCeleb and a cross-domain head reenactment model, including an optimization-based mapping function to translate the human domain's expressions to the anime domain. However, we found that the mapping function, which relies on a subset of expressions, imposes limitations on the mapping of various expressions. To solve this challenge, we introduce a novel expression domain translation network that transforms human expressions into anime expressions. Specifically, to maintain the geometric consistency of expressions between the input and output of the expression domain translation network, we employ a 3D geometric-aware loss function that reduces the distances between the vertices in the 3D mesh of the human and anime. By doing so, it forces high-fidelity and one-to-one mapping with respect to two cross-expression domains. Our method outperforms existing methods in both qualitative and quantitative analysis, marking a significant advancement in the field of cross-domain head reenactment.
• Abstract（参考訳）: 頭部再現の著しい進歩にもかかわらず、既存の手法は、マンガキャラクタを含むヒト以外の領域に人間の動きを伝達することを目的としたクロスドメイン頭部再現の課題に直面している。 大きな目のような異なる外観のため、ドメイン外の画像から動きを抽出することは依然として困難である。 近年,AnimeCelebと呼ばれる大規模アニメデータセットと,アニメーションドメインへの変換のための最適化に基づくマッピング機能を含む,クロスドメインの頭部再現モデルが導入されている。 しかし,表現のサブセットに依存する写像関数では,様々な表現のマッピングに制限が課されることがわかった。 この課題を解決するために,人間表現をアニメ表現に変換する新しい表現ドメイン翻訳ネットワークを提案する。 具体的には,表現領域翻訳ネットワークの入力と出力の間の表現の幾何的整合性を維持するために,人間とアニメの3次元メッシュにおける頂点間の距離を減少させる3次元幾何認識損失関数を用いる。 これにより、2つのクロス表現ドメインに関して、忠実度と1対1のマッピングを強制する。 本手法は, 質的および定量的解析において既存の手法を上回り, クロスドメインヘッド再現の分野において有意な進歩を示した。

関連論文リスト

• FreeAvatar: Robust 3D Facial Animation Transfer by Learning an Expression Foundation Model [45.0201701977516]
  ビデオ駆動の3D顔アニメーション転送は、アクターの表情を再現するためにアバターを駆動することを目的としている。 我々は,学習した表現のみに依存する,堅牢な顔アニメーショントランスファー手法であるFreeAvatarを提案する。
  論文  参考訳（メタデータ） (2024-09-20T03:17:01Z)
• Cross-domain and Cross-dimension Learning for Image-to-Graph Transformers [50.576354045312115]
  直接画像からグラフへの変換は、単一のモデルにおけるオブジェクトの検出と関係予測を解決するための課題である。 画像-グラフ変換器のクロスドメインおよびクロス次元変換学習を可能にする一連の手法を提案する。 そこで我々は,2次元の衛星画像上でモデルを事前学習し,それを2次元および3次元の異なるターゲット領域に適用する。
  論文  参考訳（メタデータ） (2024-03-11T10:48:56Z)
• ToonTalker: Cross-Domain Face Reenactment [80.52472147553333]
  クロスドメインな顔の再現は、実際の人のビデオで漫画のイメージを駆動することと、その逆である。 近年、実際の映像で肖像画を撮るワンショットの顔生成に多くの作品が焦点を当てている。 本稿では,異なる領域からの動作を共通の潜在空間に整列するトランスフォーマーベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T15:43:14Z)
• Facial Expression Translation using Landmark Guided GANs [84.64650795005649]
  表情から表現への変換のための強力なランドマークガイド付き生成支援ネットワーク(LandmarkGAN)を提案する。 提案したLandmarkGANは,1つの画像のみを用いて,最先端のアプローチよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-09-05T20:52:42Z)
• Unaligned Image-to-Image Translation by Learning to Reweight [40.93678165567824]
  教師なし画像から画像への変換は、トレーニングにペア画像を用いることなく、ソースからターゲットドメインへのマッピングを学習することを目的としている。 教師なしのイメージ翻訳に不可欠な仮定は、2つの領域が整列しているということである。 重要度再重み付けに基づく画像の選択を提案し,重み付けを学習し,同時に自動翻訳を行う手法を開発した。
  論文  参考訳（メタデータ） (2021-09-24T04:08:22Z)
• Cross-Domain and Disentangled Face Manipulation with 3D Guidance [33.43993665841577]
  ヒト3DMMを用いて任意の領域の顔を操作する最初の方法を提案する。 これは、1) 3DMMパラメータから、事前訓練されたStyleGAN2の潜在空間埋め込みへの無絡マッピングである。 種々の顔領域における高品質な意味操作手法の優位性を示す実験と比較を行った。
  論文  参考訳（メタデータ） (2021-04-22T17:59:50Z)
• Everything's Talkin': Pareidolia Face Reenactment [119.49707201178633]
  pareidolia face reenactmentは、ビデオ中の人間の顔とタンデムで動く静的なイラストリーフェイスのアニメーションと定義されている。 顔再現法と従来の顔再現法との差異が大きいため, 形状のばらつきとテクスチャのばらつきが導入された。 この2つの課題に取り組むために,新しいパラメトリック非教師なし再現アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-07T11:19:13Z)
• Facial Expression Retargeting from Human to Avatar Made Easy [34.86394328702422]
  人間から仮想キャラクタへの顔表現は、コンピュータグラフィックスやアニメーションにおいて有用な技術である。 伝統的な方法では、マーカーやブレンドサップを使って人間とアバターの顔をマッピングする。 本稿では,この非線型表現埋め込みと表現領域変換によるクロスドメイン表現伝達問題に対する新しい解を提案する。
  論文  参考訳（メタデータ） (2020-08-12T04:55:54Z)
• CrDoCo: Pixel-level Domain Transfer with Cross-Domain Consistency [119.45667331836583]
  教師なしのドメイン適応アルゴリズムは、あるドメインから学んだ知識を別のドメインに転送することを目的としている。 本稿では,新しい画素単位の対向領域適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-01-09T19:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。