論文の概要: Learning Gaze-aware Compositional GAN

• arxiv url: http://arxiv.org/abs/2405.20643v1
• Date: Fri, 31 May 2024 07:07:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 15:26:33.620957
• Title: Learning Gaze-aware Compositional GAN
• Title（参考訳）: ゲーズ対応コンポジションGANの学習
• Authors: Nerea Aranjuelo, Siyu Huang, Ignacio Arganda-Carreras, Luis Unzueta, Oihana Otaegui, Hanspeter Pfister, Donglai Wei,
• Abstract要約: ラベル付きおよびラベルなしデータソースの利点を活用して、注釈付き視線データを作成するための生成フレームワークを提案する。 本稿では,ETH-XGazeデータセットにおける領域内画像拡張と,CelebAMask-HQデータセット領域における領域間画像拡張による視線推定トレーニングの有効性を示す。
• 参考スコア（独自算出の注目度）: 30.714854907472333
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Gaze-annotated facial data is crucial for training deep neural networks (DNNs) for gaze estimation. However, obtaining these data is labor-intensive and requires specialized equipment due to the challenge of accurately annotating the gaze direction of a subject. In this work, we present a generative framework to create annotated gaze data by leveraging the benefits of labeled and unlabeled data sources. We propose a Gaze-aware Compositional GAN that learns to generate annotated facial images from a limited labeled dataset. Then we transfer this model to an unlabeled data domain to take advantage of the diversity it provides. Experiments demonstrate our approach's effectiveness in generating within-domain image augmentations in the ETH-XGaze dataset and cross-domain augmentations in the CelebAMask-HQ dataset domain for gaze estimation DNN training. We also show additional applications of our work, which include facial image editing and gaze redirection.
• Abstract（参考訳）: 迷路アノテートされた顔データは、視線推定のためにディープニューラルネットワーク(DNN)のトレーニングに不可欠である。 しかし、これらのデータを取得するには労働集約的であり、被験者の視線方向を正確にアノテートすることの難しさから、特別な機器を必要とする。 本研究では、ラベル付きおよびラベルなしデータソースの利点を活用して、注釈付き視線データを作成するための生成フレームワークを提案する。 限定ラベル付きデータセットから注釈付き顔画像を生成することを学習するGaze対応コンポジションGANを提案する。 そして、このモデルをラベルのないデータドメインに転送し、それが提供する多様性を活用します。 ETH-XGazeデータセットにおける領域内画像拡張と,CelebAMask-HQデータセット領域におけるドメイン間画像拡張によるDNNトレーニングの視線推定の有効性を示す実験を行った。 また、顔画像編集や視線リダイレクトなど、我々の研究の応用例も紹介する。

関連論文リスト

• SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation [69.42764583465508]
  我々は,地球観測における注釈付きデータの不足に対処するために,生成的画像拡散の可能性を探る。 我々の知る限りでは、衛星セグメンテーションのための画像と対応するマスクの両方を最初に生成する。
  論文  参考訳（メタデータ） (2024-03-25T10:30:22Z)
• Gaze-guided Hand-Object Interaction Synthesis: Dataset and Method [63.49140028965778]
  本稿では,視線,手,物間相互作用の3次元モデリングを同時に行う最初のデータセットであるGazeHOIを紹介する。 これらの課題に対処するため,GHO-Diffusion という手動物体間相互作用拡散モデルを提案する。 また, GHO拡散のサンプリング段階におけるHOI-Manifold Guidanceを導入し, 生成した動きのきめ細かい制御を可能にする。
  論文  参考訳（メタデータ） (2024-03-24T14:24:13Z)
• Position: Graph Foundation Models are Already Here [53.737868336014735]
  グラフ基礎モデル(GFM)は、グラフ領域において重要な研究トピックとして浮上している。 グラフ語彙の提唱によるGFM開発のための新しい視点」を提案する。 この観点は、将来のGFM設計を、ニューラルネットワークのスケーリング法則に従って前進させる可能性がある。
  論文  参考訳（メタデータ） (2024-02-03T17:24:36Z)
• Semi-Synthetic Dataset Augmentation for Application-Specific Gaze Estimation [0.3683202928838613]
  顔の3次元メッシュを生成し、仮想カメラからのトレーニング画像をアプリケーションに関連する特定の位置と方向でレンダリングする方法を示す。 これにより、視線推定角誤差の平均47%が減少する。
  論文  参考訳（メタデータ） (2023-10-27T20:27:22Z)
• NeRF-Gaze: A Head-Eye Redirection Parametric Model for Gaze Estimation [37.977032771941715]
  本稿では,ニューラルラジアンス場に基づく新しい頭部方向パラメトリックモデルを提案する。 我々のモデルは、顔と目を切り離して、別々のニューラルレンダリングを行うことができる。 顔、アイデンティティ、照明、視線方向の属性を別々に制御する目的を達成することができる。
  論文  参考訳（メタデータ） (2022-12-30T13:52:28Z)
• LatentGaze: Cross-Domain Gaze Estimation through Gaze-Aware Analytic Latent Code Manipulation [0.0]
  本稿では,データ駆動型手法を応用した視線認識型解析操作手法を提案する。 GANベースのエンコーダジェネレータプロセスを利用することで、入力画像がターゲット領域からソース領域イメージにシフトし、視線推定器が十分に認識できる。
  論文  参考訳（メタデータ） (2022-09-21T08:05:53Z)
• RAZE: Region Guided Self-Supervised Gaze Representation Learning [5.919214040221055]
  RAZEは、非注釈の顔画像データを利用する地域誘導型自己教師型gAZE表現学習フレームワークである。 Ize-Netはカプセル層ベースのCNNアーキテクチャで、リッチアイ表現を効率的に捉えることができる。
  論文  参考訳（メタデータ） (2022-08-04T06:23:49Z)
• CUDA-GR: Controllable Unsupervised Domain Adaptation for Gaze Redirection [3.0141238193080295]
  視線リダイレクトの目的は、画像中の視線を所望の方向に向けて操作することである。 生成的対向ネットワークの進歩は、フォトリアリスティック画像の生成において優れた結果を示している。 このような微調整の制御を可能にするためには、非常に高価なトレーニングデータに対して、基礎となる真理アノテーションを得る必要がある。
  論文  参考訳（メタデータ） (2021-06-21T04:39:42Z)
• Self-Learning Transformations for Improving Gaze and Head Redirection [49.61091281780071]
  視線や頭部方向の角度をきめ細かな制御で高品質な画像を生成できる新しい顔画像生成モデルを提案する。 これは、視線やヘッドオリエンテーション、照明、色合いなど、多くの外見上の要因を解消する必要がある。 タスク非関連要因の明示的解消は、視線と頭部の向きのより正確なモデリングをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-23T11:18:37Z)
• Dual In-painting Model for Unsupervised Gaze Correction and Animation in the Wild [82.42401132933462]
  視線角度と頭部ポーズの正確なアノテーションを必要とせずに機能する解を提案する。 我々の手法は3つの新しいモジュールからなる: Gaze Correction Module (GCM)、 Gaze Animation Module (GAM)、 Pretrained Autoencoder Module (PAM)。
  論文  参考訳（メタデータ） (2020-08-09T23:14:16Z)
• On Leveraging Pretrained GANs for Generation with Limited Data [83.32972353800633]
  生成的敵ネットワーク(GAN)は、しばしば(人間によって)実際の画像と区別できない非常に現実的な画像を生成することができる。 このように生成されたほとんどの画像はトレーニングデータセットには含まれておらず、GAN生成データでトレーニングセットを増強する可能性を示唆している。 我々は、大規模なデータセットで事前訓練された既存のGANモデルを活用し、トランスファーラーニングの概念に従って追加の知識を導入する。 限られたデータを用いた生成における提案手法の有効性を示すため, 広範囲な実験を行った。
  論文  参考訳（メタデータ） (2020-02-26T21:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。