論文の概要: Self-Learning Transformations for Improving Gaze and Head Redirection

• arxiv url: http://arxiv.org/abs/2010.12307v1
• Date: Fri, 23 Oct 2020 11:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 23:08:46.541121
• Title: Self-Learning Transformations for Improving Gaze and Head Redirection
• Title（参考訳）: 視線と頭部リダイレクトを改善する自己学習変換
• Authors: Yufeng Zheng, Seonwook Park, Xucong Zhang, Shalini De Mello, Otmar Hilliges
• Abstract要約: 視線や頭部方向の角度をきめ細かな制御で高品質な画像を生成できる新しい顔画像生成モデルを提案する。 これは、視線やヘッドオリエンテーション、照明、色合いなど、多くの外見上の要因を解消する必要がある。 タスク非関連要因の明示的解消は、視線と頭部の向きのより正確なモデリングをもたらすことを示す。
• 参考スコア（独自算出の注目度）: 49.61091281780071
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many computer vision tasks rely on labeled data. Rapid progress in generative modeling has led to the ability to synthesize photorealistic images. However, controlling specific aspects of the generation process such that the data can be used for supervision of downstream tasks remains challenging. In this paper we propose a novel generative model for images of faces, that is capable of producing high-quality images under fine-grained control over eye gaze and head orientation angles. This requires the disentangling of many appearance related factors including gaze and head orientation but also lighting, hue etc. We propose a novel architecture which learns to discover, disentangle and encode these extraneous variations in a self-learned manner. We further show that explicitly disentangling task-irrelevant factors results in more accurate modelling of gaze and head orientation. A novel evaluation scheme shows that our method improves upon the state-of-the-art in redirection accuracy and disentanglement between gaze direction and head orientation changes. Furthermore, we show that in the presence of limited amounts of real-world training data, our method allows for improvements in the downstream task of semi-supervised cross-dataset gaze estimation. Please check our project page at: https://ait.ethz.ch/projects/2020/STED-gaze/
• Abstract（参考訳）: 多くのコンピュータビジョンタスクはラベル付きデータに依存している。 生成モデリングの急速な進歩は、フォトリアリスティックな画像を合成する能力をもたらした。 しかし、下流タスクの監視にデータが使用できるような生成プロセスの特定の側面を制御することは依然として困難である。 本稿では,視線や頭部方向の角度をきめ細かな制御で高品質な画像を生成することのできる,顔画像の新たな生成モデルを提案する。 これには、視線や頭部の向きだけでなく、照明や色合いなど、多くの外観関連要因の分離が必要となる。 本稿では,これらの変分を自己学習で発見・解離・符号化する新しいアーキテクチャを提案する。 さらに,タスクの無関係な要因を明示的に分離することで,視線と頭部方向のより正確なモデリングが可能になることを示す。 新たな評価手法により,視線方向と頭部方向の変化の逆方向精度と絡み合いが向上することを示す。 さらに,実世界の限られたトレーニングデータの存在下では,半教師付きデータセット間視線推定の下流タスクの改善が可能であることを示す。 https://ait.ethz.ch/projects/2020/STED-gaze/

関連論文リスト

• EyeBAG: Accurate Control of Eye Blink and Gaze Based on Data Augmentation Leveraging Style Mixing [0.483420384410068]
  本稿では、点滅制御モジュールと視線リダイレクトモジュールという、2つの異なるモジュールからなる新しいフレームワークを紹介する。 本フレームワークは,高品質な視線制御画像を作成し,下流タスクの性能向上にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2023-06-30T03:49:23Z)
• Spatial Steerability of GANs via Self-Supervision from Discriminator [123.27117057804732]
  本稿では,GANの空間的ステアビリティを向上させるための自己教師型アプローチを提案する。 具体的には、空間帰納バイアスとして生成モデルの中間層に符号化されるランダムなガウス熱マップを設計する。 推論中、ユーザは直感的に空間のヒートマップと対話し、シーンのレイアウトを調整したり、移動したり、オブジェクトを削除したりすることで、出力画像を編集することができる。
  論文  参考訳（メタデータ） (2023-01-20T07:36:29Z)
• NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation [37.977032771941715]
  本稿では,ニューラルラジアンス場に基づく新しい頭部方向パラメトリックモデルを提案する。 我々のモデルは、顔と目を切り離して、別々のニューラルレンダリングを行うことができる。 顔、アイデンティティ、照明、視線方向の属性を別々に制御する目的を達成することができる。
  論文  参考訳（メタデータ） (2022-12-30T13:52:28Z)
• 3DGazeNet: Generalizing Gaze Estimation with Weak-Supervision from Synthetic Views [67.00931529296788]
  本稿では,適応を伴わない新しい環境に直接適用可能な一般的な視線推定モデルを訓練することを提案する。 視覚的擬似アノテーションを用いた多彩な顔の大規模データセットを作成し、シーンの3次元形状に基づいて抽出する。 本研究では,本手法を視線一般化タスクにおいて検証し,真理データが得られない場合の最先端技術と比較して最大30%の改善を実証する。
  論文  参考訳（メタデータ） (2022-12-06T14:15:17Z)
• Masked Autoencoders are Robust Data Augmentors [90.34825840657774]
  ディープニューラルネットワークの一般化には、画像拡張のような正規化技術が必要である。 本稿では,トレーニングプロセスの正規化に向けて,新たな拡張の視点を提案する。 このようなモデルに基づく非線形変換をデータ拡張として活用することで,高レベルの認識タスクを向上できることを示す。
  論文  参考訳（メタデータ） (2022-06-10T02:41:48Z)
• CUDA-GR: Controllable Unsupervised Domain Adaptation for Gaze Redirection [3.0141238193080295]
  視線リダイレクトの目的は、画像中の視線を所望の方向に向けて操作することである。 生成的対向ネットワークの進歩は、フォトリアリスティック画像の生成において優れた結果を示している。 このような微調整の制御を可能にするためには、非常に高価なトレーニングデータに対して、基礎となる真理アノテーションを得る必要がある。
  論文  参考訳（メタデータ） (2021-06-21T04:39:42Z)
• Unsupervised Discovery of Disentangled Manifolds in GANs [74.24771216154105]
  解釈可能な生成プロセスは、様々な画像編集アプリケーションに有用である。 本稿では,任意の学習された生成逆数ネットワークが与えられた潜在空間における解釈可能な方向を検出する枠組みを提案する。
  論文  参考訳（メタデータ） (2020-11-24T02:18:08Z)
• 360-Degree Gaze Estimation in the Wild Using Multiple Zoom Scales [26.36068336169795]
  焦点を絞った表情から視線を推定する能力を模倣するモデルを開発した。 このモデルは、クリアアイパッチを抽出する必要がない。 モデルを拡張して、360度視線推定の課題に対処する。
  論文  参考訳（メタデータ） (2020-09-15T08:45:12Z)
• Coarse-to-Fine Gaze Redirection with Numerical and Pictorial Guidance [74.27389895574422]
  本稿では,数値誘導と画像誘導の両方を利用した新しい視線リダイレクトフレームワークを提案する。 提案手法は,画像品質とリダイレクト精度の両方の観点から,最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-04-07T01:17:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。