論文の概要: Unsupervised High-Resolution Portrait Gaze Correction and Animation

• arxiv url: http://arxiv.org/abs/2207.00256v1
• Date: Fri, 1 Jul 2022 08:14:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 00:29:59.416032
• Title: Unsupervised High-Resolution Portrait Gaze Correction and Animation
• Title（参考訳）: 教師なし高分解能画像画像補正とアニメーション
• Authors: Jichao Zhang, Jingjing Chen, Hao Tang, Enver Sangineto, Peng Wu, Yan Yan, Nicu Sebe, Wei Wang
• Abstract要約: 本稿では,高解像度で非拘束なポートレート画像に対する視線補正とアニメーション手法を提案する。 まず、CelebGazeと高解像度のCelebHQGazeという2つの新しいポートレートデータセットを作成します。 本稿では,ガゼ補正モジュールとガゼアニメーションモジュールを用いて,画像の描画問題として視線補正タスクを定式化する。
• 参考スコア（独自算出の注目度）: 81.19271523855554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a gaze correction and animation method for high-resolution, unconstrained portrait images, which can be trained without the gaze angle and the head pose annotations. Common gaze-correction methods usually require annotating training data with precise gaze, and head pose information. Solving this problem using an unsupervised method remains an open problem, especially for high-resolution face images in the wild, which are not easy to annotate with gaze and head pose labels. To address this issue, we first create two new portrait datasets: CelebGaze and high-resolution CelebHQGaze. Second, we formulate the gaze correction task as an image inpainting problem, addressed using a Gaze Correction Module (GCM) and a Gaze Animation Module (GAM). Moreover, we propose an unsupervised training strategy, i.e., Synthesis-As-Training, to learn the correlation between the eye region features and the gaze angle. As a result, we can use the learned latent space for gaze animation with semantic interpolation in this space. Moreover, to alleviate both the memory and the computational costs in the training and the inference stage, we propose a Coarse-to-Fine Module (CFM) integrated with GCM and GAM. Extensive experiments validate the effectiveness of our method for both the gaze correction and the gaze animation tasks in both low and high-resolution face datasets in the wild and demonstrate the superiority of our method with respect to the state of the arts. Code is available at https://github.com/zhangqianhui/GazeAnimationV2
• Abstract（参考訳）: 本稿では,視線角や頭部ポーズのアノテーションを伴わない高分解能無拘束ポートレート画像の視線補正とアニメーション手法を提案する。 一般的な視線補正法は、通常、正確な視線でアノテートトレーニングデータとヘッドポーズ情報を必要とする。 教師なしの方法でこの問題を解決することは、特に野生の高解像度の顔画像では未解決の問題であり、視線や頭ポーズラベルで注釈を付けるのは容易ではない。 この問題を解決するために、まずCelebGazeと高解像度CelebHQGazeという2つの新しいポートレートデータセットを作成します。 次に、注視補正タスクを、注視補正モジュール(gcm)と注視アニメーションモジュール(gam)を用いて対応づけた画像塗装問題として定式化する。 さらに,眼球領域の特徴と視線角度の相関を学習するために,教師なしのトレーニング戦略,すなわち合成・アズ・トレーニングを提案する。 その結果、この空間における意味的補間を伴う視線アニメーションに学習された潜在空間を用いることができる。 さらに、トレーニングと推論段階におけるメモリと計算コストの両面を緩和するために、GCMとGAMを統合したCFM(Coarse-to-Fine Module)を提案する。 広汎な実験により、野生の低解像度・高解像度の顔データセットにおける視線補正と視線アニメーションの両タスクの有効性を検証し、その方法の芸術的状況に対する優位性を実証した。 コードはhttps://github.com/zhangqianhui/gazeanimationv2で入手できる。

関連論文リスト

• Toward Super-Resolution for Appearance-Based Gaze Estimation [4.594159253008448]
  超解像度は視覚的観点から画質を改善することが示されている。 本稿では,SwinIR超解像モデルに基づく2段階のフレームワークを提案する。 自己教師付き学習は、ダウンストリームタスクに必要なラベル付きデータの量を減らすために、ラベルのないデータから学習することを目的としている。
  論文  参考訳（メタデータ） (2023-03-17T17:40:32Z)
• Joint Learning of Portrait Intrinsic Decomposition and Relighting [5.601217969637838]
  逆レンダリングは、イメージをその固有の構成要素、すなわちアルベド、正規および照明に分解する問題である。 そこで本研究では,分解作業の完全監督の必要性を低減させる,自己監督型学習パラダイムを提案する。 学習パラダイムが本質的な分解とリライティングの両方に与える影響を実証し、自己監督的損失項を使わずに、モデルがどのように両タスクで苦労しているかを実証する。
  論文  参考訳（メタデータ） (2021-06-22T19:40:22Z)
• Bridging Composite and Real: Towards End-to-end Deep Image Matting [88.79857806542006]
  画像マッチングにおける意味論と細部の役割について検討する。 本稿では,共有エンコーダと2つの分離デコーダを用いた新しいGlance and Focus Matting Network(GFM)を提案する。 総合的な実証研究により、GFMは最先端の手法より優れていることが示されている。
  論文  参考訳（メタデータ） (2020-10-30T10:57:13Z)
• Self-Learning Transformations for Improving Gaze and Head Redirection [49.61091281780071]
  視線や頭部方向の角度をきめ細かな制御で高品質な画像を生成できる新しい顔画像生成モデルを提案する。 これは、視線やヘッドオリエンテーション、照明、色合いなど、多くの外見上の要因を解消する必要がある。 タスク非関連要因の明示的解消は、視線と頭部の向きのより正確なモデリングをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-23T11:18:37Z)
• Dual In-painting Model for Unsupervised Gaze Correction and Animation in the Wild [82.42401132933462]
  視線角度と頭部ポーズの正確なアノテーションを必要とせずに機能する解を提案する。 我々の手法は3つの新しいモジュールからなる: Gaze Correction Module (GCM)、 Gaze Animation Module (GAM)、 Pretrained Autoencoder Module (PAM)。
  論文  参考訳（メタデータ） (2020-08-09T23:14:16Z)
• Perspective Plane Program Induction from a Single Image [85.28956922100305]
  本研究では,自然画像の全体像を推定する逆グラフ問題について検討する。 我々は、この問題を、入力画像の最もよく記述されたカメラポーズとシーン構造を共同で発見するものとして定式化する。 提案するフレームワークであるP3Iは,探索に基づくアルゴリズムと勾配に基づくアルゴリズムを組み合わせて効率よく問題を解く。
  論文  参考訳（メタデータ） (2020-06-25T21:18:58Z)
• Coarse-to-Fine Gaze Redirection with Numerical and Pictorial Guidance [74.27389895574422]
  本稿では,数値誘導と画像誘導の両方を利用した新しい視線リダイレクトフレームワークを提案する。 提案手法は,画像品質とリダイレクト精度の両方の観点から,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-04-07T01:17:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。