論文の概要: FaceEraser: Removing Facial Parts for Augmented Reality

• arxiv url: http://arxiv.org/abs/2109.10760v1
• Date: Wed, 22 Sep 2021 14:30:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-23 13:43:43.839485
• Title: FaceEraser: Removing Facial Parts for Augmented Reality
• Title（参考訳）: FaceEraser:拡張現実のための顔部分の除去
• Authors: Miao Hua, Lijie Liu, Ziyang Cheng, Qian He, Bingchuan Li, Zili Yi
• Abstract要約: 私たちの仕事は、すべての顔部分を取り除き、拡張現実のために空白の顔に視覚的要素を課すことです。 本研究では,空白の顔によく似通ったペアトレーニングデータを生成する新しいデータ生成手法を提案する。 提案手法は商用製品に統合され,その有効性は制約のないユーザ入力で検証されている。
• 参考スコア（独自算出の注目度）: 10.575917056215289
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Our task is to remove all facial parts (e.g., eyebrows, eyes, mouth and nose), and then impose visual elements onto the ``blank'' face for augmented reality. Conventional object removal methods rely on image inpainting techniques (e.g., EdgeConnect, HiFill) that are trained in a self-supervised manner with randomly manipulated image pairs. Specifically, given a set of natural images, randomly masked images are used as inputs and the raw images are treated as ground truths. Whereas, this technique does not satisfy the requirements of facial parts removal, as it is hard to obtain ``ground-truth'' images with real ``blank'' faces. To address this issue, we propose a novel data generation technique to produce paired training data that well mimic the ``blank'' faces. In the mean time, we propose a novel network architecture for improved inpainting quality for our task. Finally, we demonstrate various face-oriented augmented reality applications on top of our facial parts removal model. Our method has been integrated into commercial products and its effectiveness has been verified with unconstrained user inputs. The source codes, pre-trained models and training data will be released for research purposes.
• Abstract（参考訳）: 我々の任務は、すべての顔の部分(例えば、額、目、口、鼻)を取り除き、拡張現実のために「ブランク」の顔に視覚的要素を課すことである。 従来のオブジェクト除去手法は、ランダムに操作されたイメージペアで自己教師付きでトレーニングされるイメージインペイント技術(EdgeConnect、HiFillなど)に依存している。 具体的には、一組の自然画像が与えられた場合、ランダムにマスキングされた画像が入力として使用され、原画像が真実として扱われる。 しかし,この手法は,実際の「ブランク」顔の「地上真実」画像を得るのが困難であるため,顔面部分除去の要件を満たすものではない。 そこで本研究では, ``blank'' をよく模倣したペアトレーニングデータを生成するための新しいデータ生成手法を提案する。 平均して,タスクの質を向上するための新しいネットワークアーキテクチャを提案する。 最後に、顔部分除去モデルの上に、さまざまな顔指向拡張現実アプリケーションを示します。 提案手法は商用製品に統合され,その有効性は制約のないユーザ入力で検証されている。 ソースコード、事前訓練されたモデル、およびトレーニングデータは研究目的でリリースされる。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
  我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-25T14:56:37Z)
• GaussianHeads: End-to-End Learning of Drivable Gaussian Head Avatars from Coarse-to-fine Representations [54.94362657501809]
  マルチビュー画像から高ダイナミックで変形可能な人間の頭部アバターをリアルタイムで生成する手法を提案する。 本手法のコアとなるのは,顔表情と頭部運動の複雑なダイナミクスを捉えることができる頭部モデルの階層的表現である。 我々は、この粗い顔アバターモデルを、エンドツーエンドのフレームワークで学習可能なパラメータとして頭部ポーズとともに訓練する。
  論文  参考訳（メタデータ） (2024-09-18T13:05:43Z)
• ComFace: Facial Representation Learning with Synthetic Data for Comparing Faces [5.07975834105566]
  合成画像を用いた顔表現学習手法ComFaceを提案する。 効果的な表現学習のために、ComFaceは2つの特徴表現、すなわち、対人的な顔の違いと対人的な顔の変化を取得することを目指している。 我々のComFaceは、合成データのみを用いて訓練され、実画像を用いて訓練された一般的な事前学習や最先端表現学習方法と同等以上の転送性能を達成する。
  論文  参考訳（メタデータ） (2024-05-25T02:44:07Z)
• DiffusionFace: Towards a Comprehensive Dataset for Diffusion-Based Face Forgery Analysis [71.40724659748787]
  DiffusionFaceは、最初の拡散ベースのフェイスフォージェリーデータセットである。 非条件およびテキストガイドの顔画像生成、Img2Img、Inpaint、Diffusionベースの顔交換アルゴリズムなど、さまざまなフォージェリーカテゴリをカバーする。 重要なメタデータと、評価のための実世界のインターネットソースの偽顔画像データセットを提供する。
  論文  参考訳（メタデータ） (2024-03-27T11:32:44Z)
• FaceChain: A Playground for Human-centric Artificial Intelligence Generated Content [36.48960592782015]
  FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。 我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。 FaceChainをベースとして、仮想トライオンや2Dトーキングヘッドなど、その価値をよりよく示すための、より広いグラウンドを構築するためのいくつかのアプリケーションも開発しています。
  論文  参考訳（メタデータ） (2023-08-28T02:20:44Z)
• A survey on facial image deblurring [3.6775758132528877]
  顔画像がぼやけていると、顔認識などのハイレベルな視覚タスクに大きな影響を与えます。 本稿では,最近発表された顔画像の難読化手法について概説し,その大部分はディープラーニングに基づくものである。 本稿では,データセットとメトリクスにおける古典的手法の性能を示すとともに,モデルに基づく手法と学習に基づく手法の違いについて,簡単な議論を行う。
  論文  参考訳（メタデータ） (2023-02-10T02:24:56Z)
• DigiFace-1M: 1 Million Digital Face Images for Face Recognition [25.31469201712699]
  最先端の顔認識モデルは、Wildデータセットのラベル付き顔に対して99.8%以上の精度で達成されている。 コンピュータグラフィックスパイプラインを用いてデジタル顔の描画によって得られた顔認識のための大規模合成データセットを提案する。
  論文  参考訳（メタデータ） (2022-10-05T22:02:48Z)
• Learning Inverse Rendering of Faces from Real-world Videos [52.313931830408386]
  既存の方法は、顔画像を3つの構成要素(アルベド、ノーマル、照明)に分解する。 本稿では,アルベドと正常の整合性の仮定に基づいて,我々のモデルを実顔ビデオでトレーニングするための弱い教師付きトレーニング手法を提案する。 私たちのネットワークは、実データと合成データの両方で訓練されています。
  論文  参考訳（メタデータ） (2020-03-26T17:26:40Z)
• Exploiting Semantics for Face Image Deblurring [121.44928934662063]
  本稿では,深層畳み込みニューラルネットワークによる意味的手がかりを利用して,効果的かつ効率的な顔分解アルゴリズムを提案する。 顔のセマンティックラベルを入力先として組み込んで,顔の局所構造を正規化するための適応的構造損失を提案する。 提案手法は、より正確な顔の特徴と細部を持つシャープ画像を復元する。
  論文  参考訳（メタデータ） (2020-01-19T13:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。