論文の概要: COMPOSE: Comprehensive Portrait Shadow Editing
- arxiv url: http://arxiv.org/abs/2408.13922v1
- Date: Sun, 25 Aug 2024 19:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 15:32:15.714946
- Title: COMPOSE: Comprehensive Portrait Shadow Editing
- Title（参考訳）: COMPOSE: 総合的なポートレートシャドウ編集
- Authors: Andrew Hou, Zhixin Shu, Xuaner Zhang, He Zhang, Yannick Hold-Geoffroy, Jae Shin Yoon, Xiaoming Liu,
- Abstract要約: COMPOSEは人間の肖像画のための新しい影編集パイプラインである。
形状、強度、位置などの影の属性を正確に制御する。
我々は,(1)この光源表現を画像から予測し,(2)この表現を用いて現実的な影を生成するモデルを訓練した。
- 参考スコア（独自算出の注目度）: 25.727386174616868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing portrait relighting methods struggle with precise control over facial shadows, particularly when faced with challenges such as handling hard shadows from directional light sources or adjusting shadows while remaining in harmony with existing lighting conditions. In many situations, completely altering input lighting is undesirable for portrait retouching applications: one may want to preserve some authenticity in the captured environment. Existing shadow editing methods typically restrict their application to just the facial region and often offer limited lighting control options, such as shadow softening or rotation. In this paper, we introduce COMPOSE: a novel shadow editing pipeline for human portraits, offering precise control over shadow attributes such as shape, intensity, and position, all while preserving the original environmental illumination of the portrait. This level of disentanglement and controllability is obtained thanks to a novel decomposition of the environment map representation into ambient light and an editable gaussian dominant light source. COMPOSE is a four-stage pipeline that consists of light estimation and editing, light diffusion, shadow synthesis, and finally shadow editing. We define facial shadows as the result of a dominant light source, encoded using our novel gaussian environment map representation. Utilizing an OLAT dataset, we have trained models to: (1) predict this light source representation from images, and (2) generate realistic shadows using this representation. We also demonstrate comprehensive and intuitive shadow editing with our pipeline. Through extensive quantitative and qualitative evaluations, we have demonstrated the robust capability of our system in shadow editing.
- Abstract（参考訳）: 既存のポートレートリライティング手法は、特に方向光源からのハードシャドウの取り扱いや、既存の照明条件と調和しながらシャドウの調整といった課題に直面している場合、顔の影を正確に制御するのに苦労する。
多くの場合、完全に変化する入力照明は、ポートレート・リタッチのアプリケーションには望ましくない。
既存のシャドウ編集手法は、通常、その応用を単に顔領域に制限し、シャドウ軟化やローテーションのような限られた照明制御オプションを提供する。
本稿では,人間の肖像画のための新しい影編集パイプラインであるComposeを紹介し,画像の本来の環境照明を保ちながら,形状,強度,位置などの影特性を正確に制御する。
環境マップ表現を周囲の光と編集可能なガウス支配光源に分解したことにより、この非絡み合いと制御性が得られる。
COMPOSEは4段階のパイプラインで、光の推定と編集、光拡散、影の合成、最終的に影の編集で構成されている。
我々は、新しいガウス環境マップ表現を用いて符号化された、支配的な光源の結果として、顔の影を定義する。
OLATデータセットを用いて、(1)この光源表現を画像から予測し、(2)この表現を用いて現実的な影を生成するモデルを訓練した。
また、パイプラインによる包括的で直感的なシャドウ編集のデモも行います。
定量的および定性的な評価を通じて,影編集におけるシステムの堅牢性を実証した。
関連論文リスト
- All-frequency Full-body Human Image Relighting [1.529342790344802]
人間の画像のリライティングは、肖像画における照明効果のポストフォトグラフィー編集を可能にする。
現在の主流のアプローチでは、物理的シェーディングの原則を明示的に考慮することなく、ニューラルネットワークを使用して照明効果を近似している。
本研究では,低周波から高周波の影や陰影を再現できる2段階照明法を提案する。
論文 参考訳（メタデータ） (2024-11-01T04:45:48Z) - LightIt: Illumination Modeling and Control for Diffusion Models [61.80461416451116]
我々は、画像生成のための明示的な照明制御方法であるLightItを紹介する。
最近の生成法では照明制御が欠如しており、画像生成の多くの芸術的側面に不可欠である。
本手法は、制御可能で一貫した照明による画像生成を可能にする最初の方法である。
論文 参考訳（メタデータ） (2024-03-15T18:26:33Z) - Recasting Regional Lighting for Shadow Removal [41.107191352835315]
影領域では、物体テクスチャの劣化度は局所照明に依存する。
影領域の照明層と反射層を推定するシャドーアウェア分解ネットワークを提案する。
次に、照明層における影領域の照明をリキャストする新たな二元補正ネットワークを提案する。
論文 参考訳（メタデータ） (2024-02-01T05:08:39Z) - SIRe-IR: Inverse Rendering for BRDF Reconstruction with Shadow and
Illumination Removal in High-Illuminance Scenes [51.50157919750782]
本稿では,環境マップ,アルベド,粗さにシーンを分解する暗黙のニューラルレンダリング逆アプローチSIRe-IRを提案する。
間接放射場、通常光、可視光、および直接光を同時に正確にモデル化することにより、影と間接光の両方を除去することができる。
強い照明の存在下でも,影の干渉を伴わずに高品質なアルベドと粗さを回収する。
論文 参考訳（メタデータ） (2023-10-19T10:44:23Z) - Controllable Light Diffusion for Portraits [8.931046902694984]
ポートレートの照明を改善する新しい方法である光拡散を導入する。
プロの写真家のディフューザーとスクリムにインスパイアされたこの手法は、1枚のポートレート写真のみの照明を柔らかくする。
論文 参考訳（メタデータ） (2023-05-08T14:46:28Z) - LightPainter: Interactive Portrait Relighting with Freehand Scribble [79.95574780974103]
我々は、スクリブルベースのライティングシステムであるLightPainterを導入し、ユーザーが簡単にポートレート照明効果を操作できるようにする。
リライトモジュールをトレーニングするために,実際のユーザスクリブルを模倣する新しいスクリブルシミュレーション手法を提案する。
定量的および定性的な実験により,高品質でフレキシブルなポートレート照明編集機能を示す。
論文 参考訳（メタデータ） (2023-03-22T23:17:11Z) - Controllable Shadow Generation Using Pixel Height Maps [58.59256060452418]
物理ベースのシャドウレンダリング法は3次元のジオメトリーを必要とするが、必ずしも利用できない。
深層学習に基づく影合成法は、光情報から物体の影へのマッピングを、影の幾何学を明示的にモデル化することなく学習する。
オブジェクト,グラウンド,カメラのポーズ間の相関を符号化する新しい幾何学的表現であるピクセルハイを導入する。
論文 参考訳（メタデータ） (2022-07-12T08:29:51Z) - Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。
1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
論文 参考訳（メタデータ） (2022-05-19T06:44:37Z) - Self-supervised Outdoor Scene Relighting [92.20785788740407]
本稿では, 自己指導型リライティング手法を提案する。
当社のアプローチは,ユーザの監督なしにインターネットから収集した画像のコーパスのみに基づいて訓練されている。
以上の結果から,写実的かつ物理的に妥当な結果を生成できる技術が,見えない場面に一般化できることが示唆された。
論文 参考訳（メタデータ） (2021-07-07T09:46:19Z) - Towards High Fidelity Face Relighting with Realistic Shadows [21.09340135707926]
提案手法では,光源画像と対象画像との比(商)を所望の照明で予測する。
トレーニング中、我々のモデルは推定影マスクを用いてシャドウを正確に修正することを学ぶ。
提案手法は,被験者の表情を忠実に維持し,硬い影を正確に処理できることを実証する。
論文 参考訳（メタデータ） (2021-04-02T00:28:40Z) - Portrait Shadow Manipulation [37.414681268753526]
カジュアルに撮られた肖像画は、環境の最適下条件のため、光や影のぼやけに悩まされることが多い。
我々は、カジュアルな写真家にこの制御を一部与え、現実的で容易に制御可能な方法で、低照度な肖像画をポストキャプチャーに頼らせることができる計算手法を提案する。
我々のアプローチは、外部の物体が投げる異物の影を除去するニューラルネットワークと、被写体の特徴が投げる顔の影を和らげるニューラルネットワークと、照明率を改善するための合成フィリング光を加えることに依存している。
論文 参考訳（メタデータ） (2020-05-18T17:51:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。