論文の概要: Learning Spatially Decoupled Color Representations for Facial Image Colorization

• arxiv url: http://arxiv.org/abs/2412.07203v1
• Date: Tue, 10 Dec 2024 05:48:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:37:13.084523
• Title: Learning Spatially Decoupled Color Representations for Facial Image Colorization
• Title（参考訳）: 顔画像のカラー化のための空間的に分離した色表現の学習
• Authors: Hangyan Zhu, Ming Liu, Chao Zhou, Zifei Yan, Kuanquan Wang, Wangmeng Zuo,
• Abstract要約: FCNetと呼ばれる新しい顔画像カラー化フレームワークを提案する。 各顔成分(唇、皮膚、目、髪など)の分離色表現は、顔解析図の指導の下で学習する。 FCNetは、単一または複数の参照画像による顔画像の着色に自然に適用することができる。
• 参考スコア（独自算出の注目度）: 46.8688389538561
• License:
• Abstract: Image colorization methods have shown prominent performance on natural images. However, since humans are more sensitive to faces, existing methods are insufficient to meet the demands when applied to facial images, typically showing unnatural and uneven colorization results. In this paper, we investigate the facial image colorization task and find that the problems with facial images can be attributed to an insufficient understanding of facial components. As a remedy, by introducing facial component priors, we present a novel facial image colorization framework dubbed FCNet. Specifically, we learn a decoupled color representation for each face component (e.g., lips, skin, eyes, and hair) under the guidance of face parsing maps. A chromatic and spatial augmentation strategy is presented to facilitate the learning procedure, which requires only grayscale and color facial image pairs. After training, the presented FCNet can be naturally applied to facial image colorization with single or multiple reference images. To expand the application paradigms to scenarios with no reference images, we further train two alternative modules, which predict the color representations from the grayscale input or a random seed, respectively. Extensive experiments show that our method can perform favorably against existing methods in various application scenarios (i.e., no-, single-, and multi-reference facial image colorization). The source code and pre-trained models will be publicly available.
• Abstract（参考訳）: 画像のカラー化手法は自然画像に顕著な性能を示した。 しかしながら、人間は顔に敏感であるため、既存の方法は顔画像に適用する際の要求を満たすには不十分であり、通常は不自然で不均一な着色結果を示す。 本稿では,顔画像の着色作業について検討し,顔画像の問題点は顔成分の理解が不十分なためと考えられる。 そこで, FCNet と呼ばれる新しい顔画像カラー化フレームワークを提案する。 具体的には,各顔成分(例えば,唇,皮膚,目,髪)の分離色表現を,顔解析図の指導の下で学習する。 グレースケールとカラーの顔画像ペアのみを必要とする学習手順を容易にするために、色と空間の増強戦略が提示される。 トレーニング後、提示されたFCNetは、単一または複数の参照画像による顔画像の着色に自然に適用することができる。 アプリケーションパラダイムを参照画像のないシナリオに拡張するために、グレースケールの入力やランダムなシードから色表現を予測する2つの代替モジュールをトレーニングする。 広汎な実験により,本手法は様々な応用シナリオ(no-, single-, multi-reference face image colorization)において,既存の手法に対して良好に動作可能であることが示された。 ソースコードと事前訓練されたモデルが公開される。

関連論文リスト

• Single Image, Any Face: Generalisable 3D Face Generation [59.9369171926757]
  我々は,制約のない単一画像入力を伴う3次元顔を生成する新しいモデルGen3D-Faceを提案する。 私たちの知る限りでは、これは1枚の画像からフォトリアリスティックな3D顔アバターを作るための最初の試みであり、ベンチマークである。
  論文  参考訳（メタデータ） (2024-09-25T14:56:37Z)
• Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
  既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。 視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。 感情-中性変換を用いた知識強化FER法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T07:28:57Z)
• FlashFace: Human Image Personalization with High-fidelity Identity Preservation [59.76645602354481]
  FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。 我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
  論文  参考訳（メタデータ） (2024-03-25T17:59:57Z)
• Self-Supervised Facial Representation Learning with Facial Region Awareness [13.06996608324306]
  自己教師付き事前学習は、様々な視覚的タスクに役立つ伝達可能な表現を学習するのに有効であることが証明されている。 この目標に向けての最近の取り組みは、各顔画像を全体として扱うことに限定されている。 本研究では,一貫したグローバルおよびローカルな顔表現を学習するための,自己教師型顔表現学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-04T15:48:56Z)
• Neural Implicit Morphing of Face Images [0.7643309077806446]
  フェイスフォーミングは、多くの芸術的および法医学的応用を持つコンピュータグラフィックスにおける問題である。 このタスクは、特徴アライメントのためのワープと、歪んだ画像間のシームレスな遷移のためのブレンディングで構成される。 我々は,このような歪みや顔画像のブレンドを表現するために,協調型ニューラルネットワークを活用することを提案する。
  論文  参考訳（メタデータ） (2023-08-26T14:12:19Z)
• A survey on facial image deblurring [3.6775758132528877]
  顔画像がぼやけていると、顔認識などのハイレベルな視覚タスクに大きな影響を与えます。 本稿では,最近発表された顔画像の難読化手法について概説し,その大部分はディープラーニングに基づくものである。 本稿では,データセットとメトリクスにおける古典的手法の性能を示すとともに,モデルに基づく手法と学習に基づく手法の違いについて,簡単な議論を行う。
  論文  参考訳（メタデータ） (2023-02-10T02:24:56Z)
• Diverse facial inpainting guided by exemplars [8.360536784609309]
  本稿では,新しい多彩でインタラクティブな顔インペイントフレームワークEXE-GANを紹介する。 提案手法は, 入力画像のグローバルなスタイル, スタイル, および模範的なスタイルを活用することで, 生成的対向ネットワークに基づく顔の塗装を実現する。 CelebA-HQおよびFFHQデータセットの様々な実験結果と比較を行い,提案手法の優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-13T16:29:45Z)
• FaceEraser: Removing Facial Parts for Augmented Reality [10.575917056215289]
  私たちの仕事は、すべての顔部分を取り除き、拡張現実のために空白の顔に視覚的要素を課すことです。 本研究では,空白の顔によく似通ったペアトレーニングデータを生成する新しいデータ生成手法を提案する。 提案手法は商用製品に統合され,その有効性は制約のないユーザ入力で検証されている。
  論文  参考訳（メタデータ） (2021-09-22T14:30:12Z)
• Pro-UIGAN: Progressive Face Hallucination from Occluded Thumbnails [53.080403912727604]
  Inpainting Generative Adversarial Network, Pro-UIGANを提案する。 顔の形状を利用して、隠された小さな顔の補充とアップサンプリング(8*)を行う。 Pro-UIGANは、HR面を視覚的に満足させ、下流タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-08-02T02:29:24Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。