論文の概要: Relightful Harmonization: Lighting-aware Portrait Background Replacement
- arxiv url: http://arxiv.org/abs/2312.06886v1
- Date: Mon, 11 Dec 2023 23:20:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 18:01:14.547215
- Title: Relightful Harmonization: Lighting-aware Portrait Background Replacement
- Title(参考訳): Relightful Harmonization: 照明を意識した背景のリプレース
- Authors: Mengwei Ren, Wei Xiong, Jae Shin Yoon, Zhixin Shu, Jianming Zhang,
HyunJoon Jung, Guido Gerig, He Zhang
- Abstract要約: 背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。
まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。
第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
- 参考スコア(独自算出の注目度): 24.19548598390059
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Portrait harmonization aims to composite a subject into a new background,
adjusting its lighting and color to ensure harmony with the background scene.
Existing harmonization techniques often only focus on adjusting the global
color and brightness of the foreground and ignore crucial illumination cues
from the background such as apparent lighting direction, leading to unrealistic
compositions. We introduce Relightful Harmonization, a lighting-aware diffusion
model designed to seamlessly harmonize sophisticated lighting effect for the
foreground portrait using any background image. Our approach unfolds in three
stages. First, we introduce a lighting representation module that allows our
diffusion model to encode lighting information from target image background.
Second, we introduce an alignment network that aligns lighting features learned
from image background with lighting features learned from panorama environment
maps, which is a complete representation for scene illumination. Last, to
further boost the photorealism of the proposed method, we introduce a novel
data simulation pipeline that generates synthetic training pairs from a diverse
range of natural images, which are used to refine the model. Our method
outperforms existing benchmarks in visual fidelity and lighting coherence,
showing superior generalization in real-world testing scenarios, highlighting
its versatility and practicality.
- Abstract(参考訳): ポートレート調和は、被写体を新しい背景に合成し、背景との調和を確保するために照明と色を調整することを目的としている。
既存の調和技法は前景のグローバル色や明るさの調整にのみ焦点を合わせ、背景から明るみの方向のような重要な照明の手がかりを無視し、非現実的な構成に繋がることが多い。
背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。
私たちのアプローチは3段階に展開する。
まず,対象画像背景からの照明情報を拡散モデルでエンコードできる照明表現モジュールを提案する。
次に,風景照明の完全な表現であるパノラマ環境マップから学習した照明特徴と,背景から学習した照明特徴を整合するアライメントネットワークを提案する。
最後に,提案手法の光現実性をさらに向上するために,様々な自然画像から合成訓練ペアを生成する新しいデータシミュレーションパイプラインを導入する。
提案手法は,実世界のテストシナリオにおいて優れた一般化を示し,その汎用性と実用性を強調する,視覚忠実性と照明コヒーレンスにおける既存のベンチマークを上回っている。
関連論文リスト
- DiLightNet: Fine-grained Lighting Control for Diffusion-based Image
Generation [17.039132888411864]
テキスト駆動画像生成における微細な照明制御を実現するための新しい手法を提案する。
私たちのキーとなる観察は、拡散過程を導くだけではならず、そのため正確な放射率のヒントは必要ないということです。
我々は、様々なテキストプロンプトと照明条件に基づいて、照明制御拡散モデルを実証し、検証する。
論文 参考訳(メタデータ) (2024-02-19T08:17:21Z) - Intrinsic Harmonization for Illumination-Aware Compositing [0.7366405857677227]
固有画像領域で定式化された自己教師付き照明調和方式を提案する。
まず、中間レベルの視覚表現から簡単な大域照明モデルを推定し、前景領域の粗いシェーディングを生成する。
ネットワークはこの推論シェーディングを洗練し、背景のシーンと整合する再シェーディングを生成する。
論文 参考訳(メタデータ) (2023-12-06T18:59:03Z) - Image Harmonization with Diffusion Model [26.183879349798588]
前景と背景の間の一貫性のない照明条件は、しばしば非現実的な合成物をもたらす。
拡散モデルを用いた画像調和のための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-17T23:23:52Z) - EverLight: Indoor-Outdoor Editable HDR Lighting Estimation [9.443561684223514]
本稿では、パラメトリック光モデルと360degパノラマを組み合わせ、レンダリングエンジンでHDRIとして使用できる手法を提案する。
我々の表現では、ユーザは光の方向、強度、数などを簡単に編集してシェーディングに影響を与えながら、リッチで複雑なリフレクションを提供しながら、編集とシームレスにブレンドすることができる。
論文 参考訳(メタデータ) (2023-04-26T00:20:59Z) - Learning to Relight Portrait Images via a Virtual Light Stage and
Synthetic-to-Real Adaptation [76.96499178502759]
Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。
最近の手法は、高品質な結果を得るためにディープラーニングに依存している。
そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
論文 参考訳(メタデータ) (2022-09-21T17:15:58Z) - Neural Radiance Transfer Fields for Relightable Novel-view Synthesis
with Global Illumination [63.992213016011235]
本稿では,ニューラル計算された放射光伝達関数を学習し,新しい視点下でのシーンリライティング手法を提案する。
本手法は,1つの未知の照明条件下で,シーンの実際の画像に対してのみ監視することができる。
その結果, シーンパラメータのアンタングルの復元は, 現状よりも有意に向上していることがわかった。
論文 参考訳(メタデータ) (2022-07-27T16:07:48Z) - Image Harmonization with Region-wise Contrastive Learning [51.309905690367835]
本稿では,外部スタイルの融合と領域単位のコントラスト学習方式を備えた新しい画像調和フレームワークを提案する。
提案手法は, 前景と背景の相互情報を最大化することにより, 対応する正と負のサンプルをまとめることを試みる。
論文 参考訳(メタデータ) (2022-05-27T15:46:55Z) - SIDNet: Learning Shading-aware Illumination Descriptor for Image
Harmonization [10.655037947250516]
画像調和は、背景との互換性を高めるために前景の外観を調整することを目的としている。
画像調和タスクを,1)背景画像の照度推定と2)背景照明下の前景オブジェクトの再レンダリングの2つのサブプロブレムに分解する。
論文 参考訳(メタデータ) (2021-12-02T15:18:29Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳(メタデータ) (2020-10-17T23:40:43Z) - Learning Flow-based Feature Warping for Face Frontalization with
Illumination Inconsistent Supervision [73.18554605744842]
Flow-based Feature Warping Model (FFWM) は、正面画像を保存するフォトリアリスティックおよび照明の合成を学ぶ。
Illumination Preserving Module (IPM) を提案する。
Warp Attention Module (WAM) は、機能レベルでのポーズの相違を低減するために導入された。
論文 参考訳(メタデータ) (2020-08-16T06:07:00Z) - Unsupervised Low-light Image Enhancement with Decoupled Networks [103.74355338972123]
我々は、実世界の低照度画像を教師なしで拡張する2段階のGANベースのフレームワークを学習する。
提案手法は,照度向上と雑音低減の両面から,最先端の教師なし画像強調法より優れる。
論文 参考訳(メタデータ) (2020-05-06T13:37:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。