論文の概要: Comprehensive Relighting: Generalizable and Consistent Monocular Human Relighting and Harmonization
- arxiv url: http://arxiv.org/abs/2504.03011v1
- Date: Thu, 03 Apr 2025 20:10:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 22:01:29.417142
- Title: Comprehensive Relighting: Generalizable and Consistent Monocular Human Relighting and Harmonization
- Title（参考訳）: 包括的リライティング:一般化可能で一貫性のある単眼的リライティングと調和
- Authors: Junying Wang, Jingyuan Liu, Xin Sun, Krishna Kumar Singh, Zhixin Shu, He Zhang, Jimei Yang, Nanxuan Zhao, Tuanfeng Y. Wang, Simon S. Chen, Ulrich Neumann, Jae Shin Yoon,
- Abstract要約: Comprehensive Relightingは、あらゆるシーンから任意の身体部分を持つ人間の画像やビデオから照明を制御し調和させる、最初のオールインワンのアプローチである。
実験では、Comprehensive Relightingは強力な一般化性と時間的コヒーレンスを示し、既存の画像に基づく人間のリライトと調和の手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 43.02033340663918
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces Comprehensive Relighting, the first all-in-one approach that can both control and harmonize the lighting from an image or video of humans with arbitrary body parts from any scene. Building such a generalizable model is extremely challenging due to the lack of dataset, restricting existing image-based relighting models to a specific scenario (e.g., face or static human). To address this challenge, we repurpose a pre-trained diffusion model as a general image prior and jointly model the human relighting and background harmonization in the coarse-to-fine framework. To further enhance the temporal coherence of the relighting, we introduce an unsupervised temporal lighting model that learns the lighting cycle consistency from many real-world videos without any ground truth. In inference time, our temporal lighting module is combined with the diffusion models through the spatio-temporal feature blending algorithms without extra training; and we apply a new guided refinement as a post-processing to preserve the high-frequency details from the input image. In the experiments, Comprehensive Relighting shows a strong generalizability and lighting temporal coherence, outperforming existing image-based human relighting and harmonization methods.
- Abstract（参考訳）: 本稿では,映像や映像からの照明を任意のシーンで制御し,調和させることのできる,最初のオールインワンアプローチであるComprehensive Relightingを紹介する。
このような一般化可能なモデルの構築は、データセットが不足しているため、既存のイメージベースのリライトモデルが特定のシナリオ(例えば、顔や静的な人間)に制限されているため、極めて難しい。
この課題に対処するために、事前学習した拡散モデルを画像として再利用し、粗大なフレームワークにおける人間のリライティングと背景調和を共同でモデル化する。
照明の時間的コヒーレンスをさらに高めるために,実世界の多くのビデオから光周期の整合性を学ぶ教師なしの時間的照明モデルを導入する。
推定時間において,我々の時間光モジュールは,余分なトレーニングを伴わない時空間特徴ブレンディングアルゴリズムを用いて拡散モデルと結合し,入力画像から高周波の詳細を保存するための後処理として新しいガイド付き精細化を適用した。
実験では、Comprehensive Relightingは強力な一般化性と時間的コヒーレンスを示し、既存の画像に基づく人間のリライトと調和の手法よりも優れていた。
関連論文リスト
- GroomLight: Hybrid Inverse Rendering for Relightable Human Hair Appearance Modeling [56.94251484447597]
GroomLightは,マルチビュー画像からヘア外観を再現する新しい手法である。
両コンポーネントを最適化し,高忠実度リライト,ビュー合成,マテリアル編集を可能にするハイブリッド逆レンダリングパイプラインを提案する。
論文 参考訳（メタデータ） (2025-03-13T17:43:12Z) - DifFRelight: Diffusion-Based Facial Performance Relighting [12.909429637057343]
拡散に基づく画像から画像への変換を用いた,自由視点顔の表情のリライティングのための新しいフレームワークを提案する。
我々は、正確な照明制御のための拡散モデルを訓練し、フラットライト入力からの顔画像の高忠実度化を可能にする。
このモデルは、目の反射、地表面散乱、自影、半透明といった複雑な照明効果を正確に再現する。
論文 参考訳（メタデータ） (2024-10-10T17:56:44Z) - URHand: Universal Relightable Hands [64.25893653236912]
URHandは、視点、ポーズ、イルミネーション、アイデンティティを一般化する最初の普遍的照らし手モデルである。
本モデルでは,携帯電話で撮影した画像によるパーソナライズが可能であり,新たな照明下でのフォトリアリスティックなレンダリングが可能である。
論文 参考訳（メタデータ） (2024-01-10T18:59:51Z) - Relightful Harmonization: Lighting-aware Portrait Background Replacement [23.19641174787912]
背景画像を用いた背景像に対する高度な照明効果をシームレスに調和させるライティング対応拡散モデルであるRelightful Harmonizationを導入する。
まず、拡散モデルを用いて、対象画像の背景から照明情報をエンコードする照明表現モジュールを導入する。
第2に、画像背景から学習した照明特徴と、パノラマ環境マップから学習した照明特徴とを整列するアライメントネットワークを導入する。
論文 参考訳（メタデータ） (2023-12-11T23:20:31Z) - TensoIR: Tensorial Inverse Rendering [51.57268311847087]
テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。
TensoRFは、放射場モデリングのための最先端のアプローチである。
論文 参考訳（メタデータ） (2023-04-24T21:39:13Z) - Single-image Full-body Human Relighting [42.06323641073984]
そこで本研究では,フルボディの人間で画像を自動的にリライトする単一画像データ駆動方式を提案する。
本フレームワークは,PRT(Precomputed Radiance Transfer)とSH(Spherical Harmonics)の照明を利用した現実的なシーン分解に基づいている。
本稿では,L1,対数,レンダリング損失の組み合わせを用いて学習したPRTの分解に合わせた新しいディープラーニングアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-07-15T11:34:03Z) - Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文 参考訳（メタデータ） (2021-04-01T14:13:28Z) - Light Stage Super-Resolution: Continuous High-Frequency Relighting [58.09243542908402]
光ステージから採取した人間の顔の「超解像」を学習ベースで解析する手法を提案する。
本手法では,ステージ内の隣接する照明に対応する撮像画像を集約し,ニューラルネットワークを用いて顔の描画を合成する。
我々の学習モデルは、リアルな影と特異なハイライトを示す任意の光方向のレンダリングを生成することができる。
論文 参考訳（メタデータ） (2020-10-17T23:40:43Z) - Crowdsampling the Plenoptic Function [56.10020793913216]
このようなデータから時間変動照明下での新しいビュー合成手法を提案する。
本稿では,新しいDeepMPI表現について紹介する。
本手法は従来のMPI法と同等のパララックスとビュー依存効果を合成し, 反射率の変化と光の時間変化を同時に補間する。
論文 参考訳（メタデータ） (2020-07-30T02:52:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。