論文の概要: Angle Range and Identity Similarity Enhanced Gaze and Head Redirection
based on Synthetic data
- arxiv url: http://arxiv.org/abs/2309.05214v1
- Date: Mon, 11 Sep 2023 03:20:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 13:58:19.517608
- Title: Angle Range and Identity Similarity Enhanced Gaze and Head Redirection
based on Synthetic data
- Title（参考訳）: 合成データに基づく視線と頭部方向のアングル範囲とアイデンティティの類似性
- Authors: Jiawei Qin, Xueting Wang
- Abstract要約: フルフェイス画像における視線と頭部リダイレクトの角精度と光実効性を改善する手法を提案する。
我々は,実データの頭部ポーズと視線範囲を拡張するために,モノラルな3次元顔再構成によるデータ拡張を作成する。
また、合成データを用いたトレーニングにおいても、見えない被験者の画質とアイデンティティの保存性が向上するフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 9.19194451963411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a method for improving the angular accuracy and
photo-reality of gaze and head redirection in full-face images. The problem
with current models is that they cannot handle redirection at large angles, and
this limitation mainly comes from the lack of training data. To resolve this
problem, we create data augmentation by monocular 3D face reconstruction to
extend the head pose and gaze range of the real data, which allows the model to
handle a wider redirection range. In addition to the main focus on data
augmentation, we also propose a framework with better image quality and
identity preservation of unseen subjects even training with synthetic data.
Experiments show that our method significantly improves redirection performance
in terms of redirection angular accuracy while maintaining high image quality,
especially when redirecting to large angles.
- Abstract（参考訳）: 本稿では,全顔画像における視線と頭部方向の角度精度と光反応性を向上させる手法を提案する。
現在のモデルでは、大きな角度でリダイレクトを処理できないのが問題であり、この制限は主にトレーニングデータの欠如に起因する。
この問題を解決するために,実データの頭部ポーズと視線範囲を拡張するために,単眼的3次元顔再構成によるデータ拡張を行い,より広いリダイレクト範囲を扱えるようにした。
また,データ拡張に主眼を置くことに加えて,合成データを用いたトレーニングにおいても,画像品質と識別性が向上した枠組みを提案する。
実験により,高い画質を維持しつつ,特に大きな角度にリダイレクトする場合に,リダイレクト角精度でリダイレクト性能を著しく向上することが示された。
関連論文リスト
- DiffFAE: Advancing High-fidelity One-shot Facial Appearance Editing with Space-sensitive Customization and Semantic Preservation [84.0586749616249]
本稿では,高忠実度顔画像編集に適した1段階かつ高効率な拡散ベースフレームワークDiffFAEを提案する。
高忠実度クエリ属性転送には、空間感性物理カスタマイズ(SPC)を採用し、忠実度と一般化能力を保証している。
ソース属性を保存するために、Regional-responsive Semantic Composition (RSC)を導入する。
このモジュールは、切り離されたソースを無視する特徴を学習するためにガイドされ、髪、服、背景などの非顔的属性からアーティファクトを保存し緩和する。
論文 参考訳（メタデータ） (2024-03-26T12:53:10Z) - SphereDiffusion: Spherical Geometry-Aware Distortion Resilient Diffusion Model [63.685132323224124]
制御可能な球状パノラマ画像生成は、様々な領域でかなりの応用可能性を持っている。
本稿では,これらの課題に対処するために,SphereDiffusionの新しいフレームワークを提案する。
Structured3Dデータセットの実験では、SphereDiffusionは制御可能な球面画像生成の品質を大幅に改善し、平均して約35%のFIDを相対的に削減している。
論文 参考訳（メタデータ） (2024-03-15T06:26:46Z) - Fiducial Focus Augmentation for Facial Landmark Detection [4.433764381081446]
本稿では,モデルによる顔構造理解を高めるために,新しい画像強調手法を提案する。
我々は,Deep Canonical correlation Analysis (DCCA) に基づく損失を考慮した,シームズアーキテクチャに基づくトレーニング機構を採用している。
提案手法は,様々なベンチマークデータセットにおいて,最先端のアプローチよりも優れている。
論文 参考訳（メタデータ） (2024-02-23T01:34:00Z) - HeadRecon: High-Fidelity 3D Head Reconstruction from Monocular Video [37.53752896927615]
任意のモノクラービデオから高忠実度3Dヘッドモデルの再構成について検討する。
本稿では,これらの問題に対処するために,事前誘導型動的暗黙的ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-14T12:38:56Z) - Masked Autoencoders are Robust Data Augmentors [90.34825840657774]
ディープニューラルネットワークの一般化には、画像拡張のような正規化技術が必要である。
本稿では,トレーニングプロセスの正規化に向けて,新たな拡張の視点を提案する。
このようなモデルに基づく非線形変換をデータ拡張として活用することで,高レベルの認識タスクを向上できることを示す。
論文 参考訳（メタデータ） (2022-06-10T02:41:48Z) - Thinking the Fusion Strategy of Multi-reference Face Reenactment [4.1509697008011175]
複数の参照画像を用いた単純な拡張は生成品質を著しく向上させることを示す。
本研究は,1)公開データセットの再構成作業,2)複数人の頭部運動映像シーケンスからなる元のデータセットの顔の動き伝達,3)新たに提案した評価指標を用いて,提案手法がより定量的な結果が得られることを検証した。
論文 参考訳（メタデータ） (2022-02-22T09:17:26Z) - Wide-angle Image Rectification: A Survey [86.36118799330802]
広角画像は、基礎となるピンホールカメラモデルに反する歪みを含む。
これらの歪みを補正することを目的とした画像修正は、これらの問題を解決することができる。
本稿では、異なるアプローチで使用されるカメラモデルについて、詳細な説明と議論を行う。
次に,従来の幾何学に基づく画像修正手法と深層学習法の両方について検討する。
論文 参考訳（メタデータ） (2020-10-30T17:28:40Z) - Self-Learning Transformations for Improving Gaze and Head Redirection [49.61091281780071]
視線や頭部方向の角度をきめ細かな制御で高品質な画像を生成できる新しい顔画像生成モデルを提案する。
これは、視線やヘッドオリエンテーション、照明、色合いなど、多くの外見上の要因を解消する必要がある。
タスク非関連要因の明示的解消は、視線と頭部の向きのより正確なモデリングをもたらすことを示す。
論文 参考訳（メタデータ） (2020-10-23T11:18:37Z) - Rotate-and-Render: Unsupervised Photorealistic Face Rotation from
Single-View Images [47.18219551855583]
そこで本研究では,フォトリアリスティックな回転面を合成可能な,教師なしのフレームワークを提案する。
私たちの重要な洞察は、3D空間の顔を前後に回転させ、2D平面に再レンダリングすることで、強力な自己スーパービジョンとして機能するということです。
我々の手法は、最先端の手法よりも優れた合成品質とアイデンティティの保存性を有する。
論文 参考訳（メタデータ） (2020-03-18T09:54:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。