論文の概要: Controllable Continuous Gaze Redirection
- arxiv url: http://arxiv.org/abs/2010.04513v1
- Date: Fri, 9 Oct 2020 11:50:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 05:49:21.925843
- Title: Controllable Continuous Gaze Redirection
- Title（参考訳）: 制御可能な連続視線指示
- Authors: Weihao Xia, Yujiu Yang, Jing-Hao Xue, Wensen Feng
- Abstract要約: 制御可能な視線リダイレクトのための新しいフレームワークであるInterpGazeを提案する。
我々のゴールは、ある人物の視線を基準画像に描かれたあらゆる視線方向へとリダイレクトすることである。
提案したInterpGazeは、画像の品質とリダイレクト精度で最先端の手法より優れている。
- 参考スコア（独自算出の注目度）: 47.15883248953411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we present interpGaze, a novel framework for controllable gaze
redirection that achieves both precise redirection and continuous
interpolation. Given two gaze images with different attributes, our goal is to
redirect the eye gaze of one person into any gaze direction depicted in the
reference image or to generate continuous intermediate results. To accomplish
this, we design a model including three cooperative components: an encoder, a
controller and a decoder. The encoder maps images into a well-disentangled and
hierarchically-organized latent space. The controller adjusts the magnitudes of
latent vectors to the desired strength of corresponding attributes by altering
a control vector. The decoder converts the desired representations from the
attribute space to the image space. To facilitate covering the full space of
gaze directions, we introduce a high-quality gaze image dataset with a large
range of directions, which also benefits researchers in related areas.
Extensive experimental validation and comparisons to several baseline methods
show that the proposed interpGaze outperforms state-of-the-art methods in terms
of image quality and redirection precision.
- Abstract（参考訳）: 本研究では,制御可能な視線リダイレクトのための新しいフレームワークであるInterpGazeについて述べる。
異なる属性の2つの視線画像が与えられた場合、我々の目標は、1人の視線を基準画像に描かれた任意の視線方向にリダイレクトするか、または連続的な中間結果を生成することである。
そこで我々は,エンコーダ,コントローラ,デコーダという3つの協調的なコンポーネントを含むモデルを設計した。
エンコーダは画像を不規則で階層的に構成された潜在空間にマッピングする。
コントローラは、制御ベクトルを変更することにより、潜在ベクトルの大きさを対応する属性の所望の強度に調整する。
デコーダは、所望の表現を属性空間から画像空間に変換する。
視線方向の全空間をカバーするため,様々な方向の高品質な視線画像データセットを導入し,関連する分野の研究者にも有益である。
複数のベースライン法との比較により,提案手法は画質とリダイレクト精度の点で最先端手法よりも優れていることがわかった。
関連論文リスト
- TraDiffusion: Trajectory-Based Training-Free Image Generation [85.39724878576584]
そこで我々は,TraDiffusion(トラディフュージョン)と呼ばれる,訓練のないトラジェクトリベースの制御可能なT2Iアプローチを提案する。
この手法により、マウスの軌跡を通した画像生成を無駄にガイドすることができる。
論文 参考訳（メタデータ） (2024-08-19T07:01:43Z) - Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold [79.94300820221996]
DragGANはGAN(Generative Adversarial Network)を制御する新しい方法である
DragGANを使えば、ピクセルの行き先を正確に制御して、動物、車、人間、風景などのさまざまなカテゴリのポーズ、形状、表現、レイアウトを操作することができる。
定性的かつ定量的な比較は、画像操作や点追跡のタスクにおいて、以前のアプローチよりもDragGANの利点を示している。
論文 参考訳（メタデータ） (2023-05-18T13:41:25Z) - Multi-Projection Fusion and Refinement Network for Salient Object
Detection in 360{\deg} Omnidirectional Image [141.10227079090419]
我々は,360度全方位画像中の有向物体を検出するために,MPFR-Net(Multi-Projection Fusion and Refinement Network)を提案する。
MPFR-Netは、等角射影像と対応する4つの立方体展開像を入力として使用する。
2つの全方位データセットの実験結果から,提案手法は定性的かつ定量的に,最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2022-12-23T14:50:40Z) - CUDA-GR: Controllable Unsupervised Domain Adaptation for Gaze
Redirection [3.0141238193080295]
視線リダイレクトの目的は、画像中の視線を所望の方向に向けて操作することである。
生成的対向ネットワークの進歩は、フォトリアリスティック画像の生成において優れた結果を示している。
このような微調整の制御を可能にするためには、非常に高価なトレーニングデータに対して、基礎となる真理アノテーションを得る必要がある。
論文 参考訳（メタデータ） (2021-06-21T04:39:42Z) - Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。
本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
論文 参考訳（メタデータ） (2020-11-24T02:18:08Z) - Boosting Image-based Mutual Gaze Detection using Pseudo 3D Gaze [19.10872208787867]
相互視線検出は、人間の相互作用を理解する上で重要な役割を果たす。
本稿では,訓練期間中に補助的な3D視線推定タスクを用いて,性能向上のための簡易かつ効果的な手法を提案する。
相互の視線ラベルから推定される擬似3次元視線ラベルを用いて、3次元視線推定枝を訓練することにより、追加の表示コストなしで性能向上を実現する。
論文 参考訳（メタデータ） (2020-10-15T15:01:41Z) - Coarse-to-Fine Gaze Redirection with Numerical and Pictorial Guidance [74.27389895574422]
本稿では,数値誘導と画像誘導の両方を利用した新しい視線リダイレクトフレームワークを提案する。
提案手法は,画像品質とリダイレクト精度の両方の観点から,最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2020-04-07T01:17:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。