論文の概要: LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting
- arxiv url: http://arxiv.org/abs/2607.08016v1
- Date: Thu, 09 Jul 2026 00:44:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.378249
- Title: LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting
- Title（参考訳）: LightCrafter: コントロール可能で一貫性のあるリライトのためのPBRによるビデオ拡散リファインメント
- Abstract要約: LightCrafterはハイブリッドパイプラインで、プロキシビデオの動画翻訳としてビデオのリライティングを改良する。
入力ビデオを直接ターゲットに翻訳するのではなく、ターゲット照明下での入力のレンダリングを最終ターゲットに翻訳する。
PBRレンダリングは、すでにいくつかの先行技術より優れていますが、グローバル照明のような効果に苦戦しています。
- 参考スコア（独自算出の注目度）: 40.05860097816268
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video relighting requires balancing long-form temporal consistency with a physically grounded understanding of light transport, which depends on accurate estimation of intrinsic scene properties such as materials, geometry, and illumination. Existing methods follow two paradigms: (1) reconstruct a video's photometric properties via inverse rendering and relight them to a target illumination via forward rendering, using physically-based rendering (PBR) or a neural renderer; these suffer from noisy reconstructions and struggle with hard-to-model effects such as global illumination. (2) Frame the task as generative video-to-video translation conditioned on relighting targets (a target environment map or text); this limits relighting control and temporal stability, since diffusion models struggle to translate long-form videos, and is constrained by the availability of input/relit training pairs. We propose LightCrafter, a hybrid pipeline that reformulates video relighting as video translation of a proxy video: rather than translating the input video directly to the target, we translate a PBR rendering of the input under the target illumination to the final target. This bakes illumination targets into the PBR proxy, removing the need to teach the diffusion model illumination concepts like environment maps, and enables more intricate lighting control while naturally providing long-form temporal consistency. We show PBR renders alone already outperform some prior art but struggle with effects like global illumination; to capture these, we leverage photometric priors in video generation models by post-training CogVideoX on synthetic video pairs and real-world unpaired videos. We outperform prior state-of-the-art on existing real-world relighting benchmarks and contribute a synthetic benchmark for further analysis. We will release our dataset, benchmark, metrics, and code.
- Abstract（参考訳）: ビデオのリライティングは、物質、幾何学、照明といった固有のシーン特性の正確な推定に依存する光輸送の物理的根拠による理解と、長期の時間的一貫性のバランスを必要とする。
既存の手法では,(1)逆レンダリングによる映像の光度特性の再構成と,(PBR)またはニューラルレンダラーを用いた前方レンダリングによる目標照明へのリライト,(2)大域照明のようなノイズの多い再構成と難解なモデル効果に悩まされている。
2) 拡散モデルでは長文ビデオの翻訳に苦慮し,入力/リライトトレーニングペアの入手に制約があるため,照準制御や時間的安定性が制限される。
提案するハイブリッドパイプラインであるLightCrafterは,映像のリライティングをプロキシビデオの動画翻訳として再構成し,入力映像を直接ターゲットに翻訳するのではなく,ターゲット照明下での入力のPBRレンダリングを最終ターゲットに翻訳する。
このことは、照明目標をPBRプロキシに焼き込み、環境マップのような拡散モデル照明概念を教える必要をなくし、長期の時間的一貫性を自然に提供しながら、より複雑な照明制御を可能にする。
我々は、PBRレンダリングが、すでにいくつかの先行技術より優れていますが、グローバル照明のような効果に苦慮していることを示します。
我々は、既存の実世界のリライトベンチマークに先行する最先端のベンチマークを上回り、さらなる分析のための総合ベンチマークに貢献する。
データセット、ベンチマーク、メトリクス、コードをリリースします。
関連論文リスト
- LiveLight: Real-time Streaming Video Relighting with Interactive Control [50.08584152649119]
インタラクティブな3Dライティング制御を備えたリアルタイムストリーミングビデオリライティングのための,最初の拡散ベースのフレームワークであるLiveLightを紹介する。
拡散モデルに動的3D照明を効果的に注入し、低NFE予算下で高忠実度生成を維持し、対話型制御のための連続ストリーミングを容易にするという3つの重要な課題を克服する。
実世界のベンチマークと合成ベンチマークの実験は、LiveLightがリアルタイムに実行しながら最先端のリライト品質を達成することを示した。
論文 参考訳（メタデータ） (2026-08-03T06:45:00Z) - Relit-LiVE: Relight Video by Jointly Learning Environment Video [17.623352754423287]
Relit-LiVEは、カメラポーズの事前知識を必要とせず、物理的に一貫性があり、時間的に安定した結果を生成する新しいビデオライティングフレームワークである。
私たちのキーとなる洞察は、レンダリングプロセスに生の参照イメージを明示的に導入することで、本質的な表現で必然的に失われたり破損したりする重要なシーンキューを復元することを可能にすることです。
我々のフレームワークは、シーンレベルのレンダリング、マテリアル編集、オブジェクト挿入、ストリーミングビデオのリライティングなど、様々なダウンストリームアプリケーションをサポートしている。
論文 参考訳（メタデータ） (2026-05-07T17:58:15Z) - RelightMaster: Precise Video Relighting with Multi-plane Light Images [59.56389629981934]
RelightMasterは、正確で制御可能なビデオリライトのための新しいフレームワークである。
物理的に可視な照明と影を生成し、元のシーンの内容を保存する。
論文 参考訳（メタデータ） (2025-11-09T08:12:09Z) - UniLumos: Fast and Unified Image and Video Relighting with Physics-Plausible Feedback [31.03901228901908]
画像とビデオの両方に統一されたリライトフレームワークUniLumosを提案する。
我々は、照明効果をシーン構造と明確に一致させ、物理的妥当性を高める。
実験により、UniLumosは物理的な一貫性を大幅に改善して最先端のリライトを実現している。
論文 参考訳（メタデータ） (2025-11-03T15:41:41Z) - ReLumix: Extending Image Relighting to Video via Video Diffusion Models [5.890782804843724]
ビデオのポストプロダクション中に照明を制御することは、計算写真において重要な目標である。
本稿では、時間合成からリライトを分離する新しいフレームワークであるReLumixを紹介する。
ReLumixは、合成データに基づいて訓練されているが、実世界のビデオに対する競争上の一般化を示している。
論文 参考訳（メタデータ） (2025-09-28T09:35:33Z) - Lumen: Consistent Video Relighting and Harmonious Background Replacement with Video Generative Models [18.008901495139717]
本稿では,大規模ビデオ生成モデルを用いたエンドツーエンドのビデオリライトフレームワークであるLumenを提案する。
合成ドメインでは、高度な3Dレンダリングエンジンを活用し、多様な環境でビデオペアをキュレートする。
現実的な領域では、HDRベースの照明シミュレーションを適用して、ペアの内蔵ビデオの欠如を補う。
論文 参考訳（メタデータ） (2025-08-18T14:21:22Z) - TC-Light: Temporally Coherent Generative Rendering for Realistic World Transfer [47.22201704648345]
照明とテクスチャ編集はワールド・トゥ・ワールド・トランスファーにとって重要な次元である。
既存の技術は、ビデオのリライティングモデルや条件付き世界生成モデルなどのトランスファーを実現するために、入力ビデオを生成的に再レンダリングする。
我々はこれらの問題を克服するための新しい生成計算であるTC-Lightを提案する。
論文 参考訳（メタデータ） (2025-06-23T17:59:58Z) - IllumiCraft: Unified Geometry and Illumination Diffusion for Controllable Video Generation [79.1960960864242]
IllumiCraftは3つの補完的な入力を受け入れるエンドツーエンドの拡散フレームワークである。
ユーザの定義したプロンプトに沿った時間的に一貫性のあるビデオを生成する。
論文 参考訳（メタデータ） (2025-06-03T17:59:52Z) - Light-A-Video: Training-free Video Relighting via Progressive Light Fusion [52.420894727186216]
Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。
Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
論文 参考訳（メタデータ） (2025-02-12T17:24:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。