論文の概要: Portrait Shadow Manipulation
- arxiv url: http://arxiv.org/abs/2005.08925v2
- Date: Wed, 20 May 2020 17:49:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 00:25:36.548361
- Title: Portrait Shadow Manipulation
- Title（参考訳）: ポートレートシャドウマニピュレーション
- Authors: Xuaner Cecilia Zhang, Jonathan T. Barron, Yun-Ta Tsai, Rohit Pandey,
Xiuming Zhang, Ren Ng, David E. Jacobs
- Abstract要約: カジュアルに撮られた肖像画は、環境の最適下条件のため、光や影のぼやけに悩まされることが多い。
我々は、カジュアルな写真家にこの制御を一部与え、現実的で容易に制御可能な方法で、低照度な肖像画をポストキャプチャーに頼らせることができる計算手法を提案する。
我々のアプローチは、外部の物体が投げる異物の影を除去するニューラルネットワークと、被写体の特徴が投げる顔の影を和らげるニューラルネットワークと、照明率を改善するための合成フィリング光を加えることに依存している。
- 参考スコア（独自算出の注目度）: 37.414681268753526
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Casually-taken portrait photographs often suffer from unflattering lighting
and shadowing because of suboptimal conditions in the environment. Aesthetic
qualities such as the position and softness of shadows and the lighting ratio
between the bright and dark parts of the face are frequently determined by the
constraints of the environment rather than by the photographer. Professionals
address this issue by adding light shaping tools such as scrims, bounce cards,
and flashes. In this paper, we present a computational approach that gives
casual photographers some of this control, thereby allowing poorly-lit
portraits to be relit post-capture in a realistic and easily-controllable way.
Our approach relies on a pair of neural networks---one to remove foreign
shadows cast by external objects, and another to soften facial shadows cast by
the features of the subject and to add a synthetic fill light to improve the
lighting ratio. To train our first network we construct a dataset of real-world
portraits wherein synthetic foreign shadows are rendered onto the face, and we
show that our network learns to remove those unwanted shadows. To train our
second network we use a dataset of Light Stage scans of human subjects to
construct input/output pairs of input images harshly lit by a small light
source, and variably softened and fill-lit output images of each face. We
propose a way to explicitly encode facial symmetry and show that our dataset
and training procedure enable the model to generalize to images taken in the
wild. Together, these networks enable the realistic and aesthetically pleasing
enhancement of shadows and lights in real-world portrait images
- Abstract（参考訳）: カジュアルに撮影されたポートレート写真は、環境の条件が最適でないため、膨らまない照明や影に苦しむことが多い。
シャドーの位置や柔らかさ、顔の明るい部分と暗い部分の照明比といった美的特性は、写真家によってではなく環境の制約によってしばしば決定される。
プロフェッショナルは、リム、バウンスカード、フラッシュなどのライトシェイピングツールを追加することでこの問題に対処する。
本稿では, カジュアルなフォトグラファーに対して, この制御をある程度与えた計算手法を提案する。
提案手法は,外部の物体が投射する外部の影を取り除くニューラルネットワークと,被写体の特徴によって投射される顔の影を柔らかくし,合成したフィラーライトを加えることで照明比を向上させる。
最初のネットワークをトレーニングするために、私たちは、合成された外国の影が顔にレンダリングされる現実世界の肖像画のデータセットを構築します。
第2のネットワークをトレーニングするために、人間の顔の光ステージスキャンのデータセットを使用して、小さな光源によって厳しく照らされた入力画像の入出力対を構築し、各顔の変動的に軟化および充満する出力画像を作成しました。
顔の対称性を明示的に符号化する手法を提案し,我々のデータセットとトレーニング手順により,野生で撮影された画像にモデルを一般化できることを示す。
これらのネットワークは、現実世界の肖像画における影と光の現実的で美的な強化を可能にする
関連論文リスト
- All-frequency Full-body Human Image Relighting [1.529342790344802]
人間の画像のリライティングは、肖像画における照明効果のポストフォトグラフィー編集を可能にする。
現在の主流のアプローチでは、物理的シェーディングの原則を明示的に考慮することなく、ニューラルネットワークを使用して照明効果を近似している。
本研究では,低周波から高周波の影や陰影を再現できる2段階照明法を提案する。
論文 参考訳（メタデータ） (2024-11-01T04:45:48Z) - Generative Portrait Shadow Removal [27.98144439007323]
我々は,肖像画のイメージを効果的に向上できる高忠実な肖像画影除去モデルを提案する。
また,本手法は,実環境で捕獲した多様な被験者に対して堅牢性を示す。
論文 参考訳（メタデータ） (2024-10-07T22:09:22Z) - COMPOSE: Comprehensive Portrait Shadow Editing [25.727386174616868]
COMPOSEは人間の肖像画のための新しい影編集パイプラインである。
形状、強度、位置などの影の属性を正確に制御する。
我々は,(1)この光源表現を画像から予測し,(2)この表現を用いて現実的な影を生成するモデルを訓練した。
論文 参考訳（メタデータ） (2024-08-25T19:18:18Z) - Controllable Light Diffusion for Portraits [8.931046902694984]
ポートレートの照明を改善する新しい方法である光拡散を導入する。
プロの写真家のディフューザーとスクリムにインスパイアされたこの手法は、1枚のポートレート写真のみの照明を柔らかくする。
論文 参考訳（メタデータ） (2023-05-08T14:46:28Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - NeLF: Neural Light-transport Field for Portrait View Synthesis and
Relighting [49.73715814270705]
ニューラルネットワークを用いて3次元空間における光輸送場を予測し,予測されたNeural Light-Transport Field(NeLF)から新しい環境光の下で新しいカメラビューからポートレートを生成する。
提案手法は,入力として与えられた複数視点のポートレートを同時合成・照会し,最先端の結果を得る。
論文 参考訳（メタデータ） (2021-07-26T17:44:52Z) - Self-supervised Outdoor Scene Relighting [92.20785788740407]
本稿では, 自己指導型リライティング手法を提案する。
当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。
以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
論文 参考訳（メタデータ） (2021-07-07T09:46:19Z) - Towards High Fidelity Face Relighting with Realistic Shadows [21.09340135707926]
提案手法では,光源画像と対象画像との比(商)を所望の照明で予測する。
トレーニング中、我々のモデルは推定影マスクを用いてシャドウを正確に修正することを学ぶ。
提案手法は,被験者の表情を忠実に維持し,硬い影を正確に処理できることを実証する。
論文 参考訳（メタデータ） (2021-04-02T00:28:40Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳（メタデータ） (2020-10-17T23:40:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。