論文の概要: Coarse-to-Fine Gaze Redirection with Numerical and Pictorial Guidance

• arxiv url: http://arxiv.org/abs/2004.03064v4
• Date: Thu, 26 Nov 2020 06:17:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 23:30:57.939410
• Title: Coarse-to-Fine Gaze Redirection with Numerical and Pictorial Guidance
• Title（参考訳）: 数値的・絵画的指導による細かな視線指示
• Authors: Jingjing Chen, Jichao Zhang, Enver Sangineto, Jiayuan Fan, Tao Chen, Nicu Sebe
• Abstract要約: 本稿では,数値誘導と画像誘導の両方を利用した新しい視線リダイレクトフレームワークを提案する。 提案手法は,画像品質とリダイレクト精度の両方の観点から,最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 74.27389895574422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaze redirection aims at manipulating the gaze of a given face image with respect to a desired direction (i.e., a reference angle) and it can be applied to many real life scenarios, such as video-conferencing or taking group photos. However, previous work on this topic mainly suffers of two limitations: (1) Low-quality image generation and (2) Low redirection precision. In this paper, we propose to alleviate these problems by means of a novel gaze redirection framework which exploits both a numerical and a pictorial direction guidance, jointly with a coarse-to-fine learning strategy. Specifically, the coarse branch learns the spatial transformation which warps input image according to desired gaze. On the other hand, the fine-grained branch consists of a generator network with conditional residual image learning and a multi-task discriminator. This second branch reduces the gap between the previously warped image and the ground-truth image and recovers finer texture details. Moreover, we propose a numerical and pictorial guidance module~(NPG) which uses a pictorial gazemap description and numerical angles as an extra guide to further improve the precision of gaze redirection. Extensive experiments on a benchmark dataset show that the proposed method outperforms the state-of-the-art approaches in terms of both image quality and redirection precision. The code is available at https://github.com/jingjingchen777/CFGR
• Abstract（参考訳）: Gaze redirectionは、所定の顔画像の視線を所望の方向(つまり基準角度)で操作することを目的としており、ビデオ会議やグループ写真撮影といった多くの現実的なシナリオに適用することができる。 しかし,従来の研究は,(1)低品質画像生成と(2)低リダイレクト精度の2つの限界を主に抱えていた。 本稿では,数値と画像方向のガイダンスを併用した新しい視線リダイレクトフレームワークを用いて,粗大な学習戦略と協調してこれらの問題を緩和することを提案する。 具体的には、粗い枝は所望の視線に応じて入力画像に反動する空間変換を学習する。 一方、細粒度分岐は、条件付き残像学習とマルチタスク判別器を備えたジェネレータネットワークから構成される。 この第2分枝は、予め歪んだ画像と接地構造画像とのギャップを小さくし、より微細なテクスチャの詳細を復元する。 さらに、画像の視線マップ記述と数値角を余分なガイドとして用いて、視線リダイレクトの精度をさらに向上させる数値・画像誘導モジュール~(NPG)を提案する。 ベンチマークデータセットの大規模な実験により,提案手法は画像品質とリダイレクト精度の両方において最先端の手法より優れていることが示された。 コードはhttps://github.com/jingjingchen777/cfgrで入手できる。

関連論文リスト

• Image-GS: Content-Adaptive Image Representation via 2D Gaussians [55.15950594752051]
  本稿では,コンテンツ適応型画像表現であるImage-GSを提案する。 異方性2Dガウスアンをベースとして、Image-GSは高いメモリ効率を示し、高速なランダムアクセスをサポートし、自然なレベルのディテールスタックを提供する。 画像-GSの一般的な効率性と忠実性は、最近のニューラルイメージ表現と業界標準テクスチャ圧縮機に対して検証される。 この研究は、機械認識、アセットストリーミング、コンテンツ生成など、適応的な品質とリソース制御を必要とする新しいアプリケーションを開発するための洞察を与えてくれることを願っている。
  論文  参考訳（メタデータ） (2024-07-02T00:45:21Z)
• UCDFormer: Unsupervised Change Detection Using a Transformer-driven Image Translation [20.131754484570454]
  両時間画像の比較による変化検出(CD)は,リモートセンシングにおいて重要な課題である。 リモートセンシング画像に対する領域シフト設定による変更検出を提案する。 UCDFormerと呼ばれる軽量トランスを用いた新しい教師なしCD方式を提案する。
  論文  参考訳（メタデータ） (2023-08-02T13:39:08Z)
• Diffusion-Based Scene Graph to Image Generation with Masked Contrastive Pre-Training [112.94542676251133]
  画像とのアライメントを直接最適化することで,シーングラフの埋め込みを学習する。 具体的には,シーングラフからグローバル情報とローカル情報の両方を抽出するエンコーダを事前訓練する。 SGDiffと呼ばれる結果の方法は、シーングラフノードと接続を変更することによって生成された画像のセマンティックな操作を可能にする。
  論文  参考訳（メタデータ） (2022-11-21T01:11:19Z)
• CUDA-GR: Controllable Unsupervised Domain Adaptation for Gaze Redirection [3.0141238193080295]
  視線リダイレクトの目的は、画像中の視線を所望の方向に向けて操作することである。 生成的対向ネットワークの進歩は、フォトリアリスティック画像の生成において優れた結果を示している。 このような微調整の制御を可能にするためには、非常に高価なトレーニングデータに対して、基礎となる真理アノテーションを得る必要がある。
  論文  参考訳（メタデータ） (2021-06-21T04:39:42Z)
• Self-Learning Transformations for Improving Gaze and Head Redirection [49.61091281780071]
  視線や頭部方向の角度をきめ細かな制御で高品質な画像を生成できる新しい顔画像生成モデルを提案する。 これは、視線やヘッドオリエンテーション、照明、色合いなど、多くの外見上の要因を解消する必要がある。 タスク非関連要因の明示的解消は、視線と頭部の向きのより正確なモデリングをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-23T11:18:37Z)
• Controllable Continuous Gaze Redirection [47.15883248953411]
  制御可能な視線リダイレクトのための新しいフレームワークであるInterpGazeを提案する。 我々のゴールは、ある人物の視線を基準画像に描かれたあらゆる視線方向へとリダイレクトすることである。 提案したInterpGazeは、画像の品質とリダイレクト精度で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-10-09T11:50:06Z)
• RANSAC-Flow: generic two-stage image alignment [53.11926395028508]
  単純な教師なしのアプローチは、様々なタスクにおいて驚くほどうまく機能することを示す。 その単純さにもかかわらず、我々の手法は様々なタスクやデータセットで競合する結果を示す。
  論文  参考訳（メタデータ） (2020-04-03T12:37:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。