論文の概要: Hierarchical Vectorization for Portrait Images
- arxiv url: http://arxiv.org/abs/2205.11880v1
- Date: Tue, 24 May 2022 07:58:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-25 15:06:42.723554
- Title: Hierarchical Vectorization for Portrait Images
- Title(参考訳): 画像の階層的ベクトル化
- Authors: Qian Fu, Linlin Liu, Fei Hou, Ying He
- Abstract要約: 本稿では,画像を自動的に3階層の階層表現に変換するベクトル化手法を提案する。
基層は、鮮やかな幾何学的特徴と低周波色を特徴付けるスパース拡散曲線からなる。
中層は、仕様のハイライトと影を大きく編集可能なポアソン領域(PR)にエンコードし、ユーザーは直接照明を調整できる。
トップレベルには、高周波残基のための2種類のピクセルサイズのPRと、ピンプや色素化などの細部が含まれている。
- 参考スコア(独自算出の注目度): 12.32304366243904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aiming at developing intuitive and easy-to-use portrait editing tools, we
propose a novel vectorization method that can automatically convert raster
images into a 3-tier hierarchical representation. The base layer consists of a
set of sparse diffusion curves (DC) which characterize salient geometric
features and low-frequency colors and provide means for semantic color transfer
and facial expression editing. The middle level encodes specular highlights and
shadows to large and editable Poisson regions (PR) and allows the user to
directly adjust illumination via tuning the strength and/or changing shape of
PR. The top level contains two types of pixel-sized PRs for high-frequency
residuals and fine details such as pimples and pigmentation. We also train a
deep generative model that can produce high-frequency residuals automatically.
Thanks to the meaningful organization of vector primitives, editing portraits
becomes easy and intuitive. In particular, our method supports color transfer,
facial expression editing, highlight and shadow editing and automatic
retouching. Thanks to the linearity of the Laplace operator, we introduce alpha
blending, linear dodge and linear burn to vector editing and show that they are
effective in editing highlights and shadows. To quantitatively evaluate the
results, we extend the commonly used FLIP metric (which measures differences
between two images) by considering illumination. The new metric, called
illumination-sensitive FLIP or IS-FLIP, can effectively capture the salient
changes in color transfer results, and is more consistent with human perception
than FLIP and other quality measures on portrait images. We evaluate our method
on the FFHQR dataset and show that our method is effective for common portrait
editing tasks, such as retouching, light editing, color transfer and expression
editing. We will make the code and trained models publicly available.
- Abstract(参考訳): 直感的かつ使いやすいポートレート編集ツールの開発を目指して,ラスター画像を3層階層表現に自動変換する新たなベクトル化手法を提案する。
ベース層は、鮮やかな幾何学的特徴と低周波な色を特徴付けるスパース拡散曲線(DC)の集合と、セマンティックカラー転送および表情編集のための手段からなる。
中層は、大きく編集可能なポアソン領域(PR)に仕様ハイライトと影を符号化し、ユーザーはPRの強度や形状を調整して照明を直接調整することができる。
トップレベルは、高周波残差のための2種類のピクセルサイズのprと、穴あけや色素沈着などの細部を含む。
また,高頻度残差を自動的に生成できる深部生成モデルも訓練した。
ベクトルプリミティブの有意義な構成のおかげで、ポートレートの編集は簡単で直感的になる。
特に,色の移動,表情の編集,ハイライトと影の編集,自動修正をサポートする。
ラプラス演算子の線形性のおかげで、ベクタ編集にアルファブレンディング、線形ドッジ、線形バーンを導入し、ハイライトやシャドーの編集に有効であることを示す。
その結果を定量的に評価するために,照明を考慮し,よく用いられるフリップメトリック(画像間の差を測定する)を拡張する。
照明感度FLIP(英語版)またはIS-FLIP(英語版)と呼ばれる新しい測定基準は、色移動結果の顕著な変化を効果的に捉え、FLIPや他の肖像画の画質測定値よりも人間の知覚と一致している。
本手法はFFHQRデータセット上で評価し,リタッチ,光編集,色移動,表現編集などの一般的な画像編集作業に有効であることを示す。
コードとトレーニングされたモデルを公開します。
関連論文リスト
- DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image
Editing [66.43179841884098]
大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。
既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。
本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
論文 参考訳(メタデータ) (2024-02-04T18:50:29Z) - LightPainter: Interactive Portrait Relighting with Freehand Scribble [79.95574780974103]
我々は、スクリブルベースのライティングシステムであるLightPainterを導入し、ユーザーが簡単にポートレート照明効果を操作できるようにする。
リライトモジュールをトレーニングするために,実際のユーザスクリブルを模倣する新しいスクリブルシミュレーション手法を提案する。
定量的および定性的な実験により,高品質でフレキシブルなポートレート照明編集機能を示す。
論文 参考訳(メタデータ) (2023-03-22T23:17:11Z) - RecolorNeRF: Layer Decomposed Radiance Fields for Efficient Color
Editing of 3D Scenes [21.284044381058575]
本稿では,ニューラルラジアンスフィールドのための新しいユーザフレンドリーなカラー編集手法であるRecolorNeRFを提案する。
私たちのキーとなるアイデアは、シーンを純粋な色の層に分解し、パレットを形成することです。
効率的なパレットベースの編集をサポートするには、各レイヤの色を可能な限り表現する必要がある。
論文 参考訳(メタデータ) (2023-01-19T09:18:06Z) - PaletteNeRF: Palette-based Appearance Editing of Neural Radiance Fields [60.66412075837952]
本稿では,3次元色分解に基づくニューラルラジアンスフィールド(NeRF)の出現編集手法であるPaletteNeRFを提案する。
提案手法は,各3次元点の出現を,パレットベースによる線形結合に分解する。
我々は、セマンティック・アウェアな外観編集のためのセマンティック機能を圧縮したフレームワークを拡張した。
論文 参考訳(メタデータ) (2022-12-21T00:20:01Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳(メタデータ) (2022-05-19T06:44:37Z) - Flexible Portrait Image Editing with Fine-Grained Control [12.32304366243904]
我々は,1つのニューラルネットワークモデルを用いて,ジオメトリ,色,光,影のきめ細かい編集を支援する肖像画編集法を開発した。
生成者は、エッジマップ、カラーパレット、スライダー、マスクなどの変換された条件入力をユーザが直接編集できる。
本手法の有効性をCelebAMask-HQデータセット上で評価し,色/色/影/光の編集,手描きのスケッチから画像への変換,色変換など,幅広いタスクで検証した。
論文 参考訳(メタデータ) (2022-04-04T08:39:37Z) - Deep Portrait Lighting Enhancement with 3D Guidance [24.01582513386902]
顔の3次元誘導に基づくポートレートライティング向上のための新しいディープラーニングフレームワークを提案する。
FFHQデータセットと画像内画像による実験結果から,提案手法は定量的な計測値と視覚的品質の両方の観点から,最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2021-08-04T15:49:09Z) - Pixel Sampling for Style Preserving Face Pose Editing [53.14006941396712]
ジレンマを解くための新しい2段階のアプローチとして,顔のポーズ操作のタスクを顔に塗布する手法を提案する。
入力面から画素を選択的にサンプリングし、その相対位置をわずかに調整することにより、顔編集結果は、画像スタイルとともにアイデンティティ情報を忠実に保持する。
3D顔のランドマークをガイダンスとして、3自由度(ヨー、ピッチ、ロール)で顔のポーズを操作できるので、より柔軟な顔のポーズ編集が可能になる。
論文 参考訳(メタデータ) (2021-06-14T11:29:29Z) - PIE: Portrait Image Embedding for Semantic Control [82.69061225574774]
本稿では,StyleGANの潜在空間に実際の肖像画を埋め込むための最初のアプローチを提案する。
トレーニング済みのニューラルネットワークであるStyleRigは、3D形態素顔モデルの制御空間をGANの潜在空間にマッピングする。
アイデンティティエネルギー保存用語は、顔の整合性を維持しながら空間的コヒーレントな編集を可能にする。
論文 参考訳(メタデータ) (2020-09-20T17:53:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。