論文の概要: FaceEraser: Removing Facial Parts for Augmented Reality
- arxiv url: http://arxiv.org/abs/2109.10760v1
- Date: Wed, 22 Sep 2021 14:30:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-23 13:43:43.839485
- Title: FaceEraser: Removing Facial Parts for Augmented Reality
- Title(参考訳): FaceEraser:拡張現実のための顔部分の除去
- Authors: Miao Hua, Lijie Liu, Ziyang Cheng, Qian He, Bingchuan Li, Zili Yi
- Abstract要約: 私たちの仕事は、すべての顔部分を取り除き、拡張現実のために空白の顔に視覚的要素を課すことです。
本研究では,空白の顔によく似通ったペアトレーニングデータを生成する新しいデータ生成手法を提案する。
提案手法は商用製品に統合され,その有効性は制約のないユーザ入力で検証されている。
- 参考スコア(独自算出の注目度): 10.575917056215289
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Our task is to remove all facial parts (e.g., eyebrows, eyes, mouth and
nose), and then impose visual elements onto the ``blank'' face for augmented
reality. Conventional object removal methods rely on image inpainting
techniques (e.g., EdgeConnect, HiFill) that are trained in a self-supervised
manner with randomly manipulated image pairs. Specifically, given a set of
natural images, randomly masked images are used as inputs and the raw images
are treated as ground truths. Whereas, this technique does not satisfy the
requirements of facial parts removal, as it is hard to obtain ``ground-truth''
images with real ``blank'' faces. To address this issue, we propose a novel
data generation technique to produce paired training data that well mimic the
``blank'' faces. In the mean time, we propose a novel network architecture for
improved inpainting quality for our task. Finally, we demonstrate various
face-oriented augmented reality applications on top of our facial parts removal
model. Our method has been integrated into commercial products and its
effectiveness has been verified with unconstrained user inputs. The source
codes, pre-trained models and training data will be released for research
purposes.
- Abstract(参考訳): 我々の任務は、すべての顔の部分(例えば、額、目、口、鼻)を取り除き、拡張現実のために「ブランク」の顔に視覚的要素を課すことである。
従来のオブジェクト除去手法は、ランダムに操作されたイメージペアで自己教師付きでトレーニングされるイメージインペイント技術(EdgeConnect、HiFillなど)に依存している。
具体的には、一組の自然画像が与えられた場合、ランダムにマスキングされた画像が入力として使用され、原画像が真実として扱われる。
しかし,この手法は,実際の「ブランク」顔の「地上真実」画像を得るのが困難であるため,顔面部分除去の要件を満たすものではない。
そこで本研究では, ``blank'' をよく模倣したペアトレーニングデータを生成するための新しいデータ生成手法を提案する。
平均して,タスクの質を向上するための新しいネットワークアーキテクチャを提案する。
最後に、顔部分除去モデルの上に、さまざまな顔指向拡張現実アプリケーションを示します。
提案手法は商用製品に統合され,その有効性は制約のないユーザ入力で検証されている。
ソースコード、事前訓練されたモデル、およびトレーニングデータは研究目的でリリースされる。
関連論文リスト
- VIGFace: Virtual Identity Generation Model for Face Image Synthesis [13.81887339529775]
合成顔画像を生成する新しいフレームワークであるVIGFaceを提案する。
肖像画の権利を気にすることなく、仮想顔画像を作成することができる。
既存のイメージを組み込んだ効果的な拡張手法として機能する。
論文 参考訳(メタデータ) (2024-03-13T06:11:41Z) - A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳(メタデータ) (2023-12-31T17:41:48Z) - Effective Adapter for Face Recognition in the Wild [77.09252386558362]
私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。
従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。
高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
論文 参考訳(メタデータ) (2023-12-04T08:55:46Z) - FaceChain: A Playground for Human-centric Artificial Intelligence
Generated Content [36.48960592782015]
FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。
我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。
FaceChainをベースとして、仮想トライオンや2Dトーキングヘッドなど、その価値をよりよく示すための、より広いグラウンドを構築するためのいくつかのアプリケーションも開発しています。
論文 参考訳(メタデータ) (2023-08-28T02:20:44Z) - A survey on facial image deblurring [3.6775758132528877]
顔画像がぼやけていると、顔認識などのハイレベルな視覚タスクに大きな影響を与えます。
本稿では,最近発表された顔画像の難読化手法について概説し,その大部分はディープラーニングに基づくものである。
本稿では,データセットとメトリクスにおける古典的手法の性能を示すとともに,モデルに基づく手法と学習に基づく手法の違いについて,簡単な議論を行う。
論文 参考訳(メタデータ) (2023-02-10T02:24:56Z) - DigiFace-1M: 1 Million Digital Face Images for Face Recognition [25.31469201712699]
最先端の顔認識モデルは、Wildデータセットのラベル付き顔に対して99.8%以上の精度で達成されている。
コンピュータグラフィックスパイプラインを用いてデジタル顔の描画によって得られた顔認識のための大規模合成データセットを提案する。
論文 参考訳(メタデータ) (2022-10-05T22:02:48Z) - AvatarMe++: Facial Shape and BRDF Inference with Photorealistic
Rendering-Aware GANs [119.23922747230193]
そこで本研究では,レンダリング可能な3次元顔形状とBRDFの再構成を,単一の"in-the-wild"画像から実現した最初の手法を提案する。
本手法は,1枚の低解像度画像から,高解像度の3次元顔の再構成を行う。
論文 参考訳(メタデータ) (2021-12-11T11:36:30Z) - Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo
Collection [65.92058628082322]
非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。
本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-15T03:10:17Z) - Learning Inverse Rendering of Faces from Real-world Videos [52.313931830408386]
既存の方法は、顔画像を3つの構成要素(アルベド、ノーマル、照明)に分解する。
本稿では,アルベドと正常の整合性の仮定に基づいて,我々のモデルを実顔ビデオでトレーニングするための弱い教師付きトレーニング手法を提案する。
私たちのネットワークは、実データと合成データの両方で訓練されています。
論文 参考訳(メタデータ) (2020-03-26T17:26:40Z) - Exploiting Semantics for Face Image Deblurring [121.44928934662063]
本稿では,深層畳み込みニューラルネットワークによる意味的手がかりを利用して,効果的かつ効率的な顔分解アルゴリズムを提案する。
顔のセマンティックラベルを入力先として組み込んで,顔の局所構造を正規化するための適応的構造損失を提案する。
提案手法は、より正確な顔の特徴と細部を持つシャープ画像を復元する。
論文 参考訳(メタデータ) (2020-01-19T13:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。