論文の概要: Relightful Harmonization: Lighting-aware Portrait Background Replacement
- arxiv url: http://arxiv.org/abs/2312.06886v2
- Date: Sun, 7 Apr 2024 21:41:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 01:56:13.354342
- Title: Relightful Harmonization: Lighting-aware Portrait Background Replacement
- Title（参考訳）: Relightful Harmonization: 照明を意識した背景のリプレース
- Authors: Mengwei Ren, Wei Xiong, Jae Shin Yoon, Zhixin Shu, Jianming Zhang, HyunJoon Jung, Guido Gerig, He Zhang,
- Abstract要約: 背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。
まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。
第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
- 参考スコア（独自算出の注目度）: 23.19641174787912
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Portrait harmonization aims to composite a subject into a new background, adjusting its lighting and color to ensure harmony with the background scene. Existing harmonization techniques often only focus on adjusting the global color and brightness of the foreground and ignore crucial illumination cues from the background such as apparent lighting direction, leading to unrealistic compositions. We introduce Relightful Harmonization, a lighting-aware diffusion model designed to seamlessly harmonize sophisticated lighting effect for the foreground portrait using any background image. Our approach unfolds in three stages. First, we introduce a lighting representation module that allows our diffusion model to encode lighting information from target image background. Second, we introduce an alignment network that aligns lighting features learned from image background with lighting features learned from panorama environment maps, which is a complete representation for scene illumination. Last, to further boost the photorealism of the proposed method, we introduce a novel data simulation pipeline that generates synthetic training pairs from a diverse range of natural images, which are used to refine the model. Our method outperforms existing benchmarks in visual fidelity and lighting coherence, showing superior generalization in real-world testing scenarios, highlighting its versatility and practicality.
- Abstract（参考訳）: ポートレート調和は、被写体を新しい背景に合成し、背景との調和を確保するために照明と色を調整することを目的としている。
既存の調和技術は、しばしば前景のグローバルな色や明るさを調整することだけに集中し、照明方向のような背景からの重要な照明手段を無視し、非現実的な構成へと繋がる。
背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。
私たちのアプローチは3段階に展開します。
まず,対象画像からの光情報を拡散モデルでエンコードする照明表現モジュールを提案する。
第2に,画像背景から学習した照明特徴とパノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
最後に,提案手法の光現実性をさらに向上するために,様々な自然画像から合成訓練ペアを生成する新しいデータシミュレーションパイプラインを導入する。
提案手法は,視覚的忠実度と照明コヒーレンスにおいて既存のベンチマークよりも優れており,実世界のテストシナリオにおいて優れた一般化を示し,その汎用性と実用性を強調している。
関連論文リスト
- DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。
我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。
このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
論文 参考訳（メタデータ） (2024-10-10T17:56:44Z) - GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。
Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。
照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-31T13:48:54Z) - Intrinsic Harmonization for Illumination-Aware Compositing [0.7366405857677227]
固有画像領域で定式化された自己教師付き照明調和方式を提案する。
まず、中間レベルの視覚表現から簡単な大域照明モデルを推定し、前景領域の粗いシェーディングを生成する。
ネットワークはこの推論シェーディングを洗練し、背景のシーンと整合する再シェーディングを生成する。
論文 参考訳（メタデータ） (2023-12-06T18:59:03Z) - Image Harmonization with Diffusion Model [26.183879349798588]
前景と背景の間の一貫性のない照明条件は、しばしば非現実的な合成物をもたらす。
拡散モデルを用いた画像調和のための新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-17T23:23:52Z) - EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。
我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
論文 参考訳（メタデータ） (2023-04-26T00:20:59Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T17:15:58Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳（メタデータ） (2022-07-27T16:07:48Z) - SIDNet: Learning Shading-aware Illumination Descriptor for Image
Harmonization [10.655037947250516]
画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。
画像調和タスクを,1)背景画像の照度推定と2)背景照明下の前景オブジェクトの再レンダリングの2つのサブプロブレムに分解する。
論文 参考訳（メタデータ） (2021-12-02T15:18:29Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳（メタデータ） (2020-10-17T23:40:43Z) - Learning Flow-based Feature Warping for Face Frontalization with
Illumination Inconsistent Supervision [73.18554605744842]
Flow-based Feature Warping Model (FFWM) は、正面画像を保存するフォトリアリスティックおよび照明の合成を学ぶ。
Illumination Preserving Module (IPM) を提案する。
Warp Attention Module (WAM) は、機能レベルでのポーズの相違を低減するために導入された。
論文 参考訳（メタデータ） (2020-08-16T06:07:00Z) - Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。
提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
論文 参考訳（メタデータ） (2020-05-06T13:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。