論文の概要: RelightMaster: Precise Video Relighting with Multi-plane Light Images

• arxiv url: http://arxiv.org/abs/2511.06271v1
• Date: Sun, 09 Nov 2025 08:12:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:44.854924
• Title: RelightMaster: Precise Video Relighting with Multi-plane Light Images
• Title（参考訳）: RelightMaster:マルチプレーン・ライト・イメージによる精密ビデオ・リライティング
• Authors: Weikang Bian, Xiaoyu Shi, Zhaoyang Huang, Jianhong Bai, Qinghe Wang, Xintao Wang, Pengfei Wan, Kun Gai, Hongsheng Li,
• Abstract要約: RelightMasterは、正確で制御可能なビデオリライトのための新しいフレームワークである。 物理的に可視な照明と影を生成し、元のシーンの内容を保存する。
• 参考スコア（独自算出の注目度）: 59.56389629981934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in diffusion models enable high-quality video generation and editing, but precise relighting with consistent video contents, which is critical for shaping scene atmosphere and viewer attention, remains unexplored. Mainstream text-to-video (T2V) models lack fine-grained lighting control due to text's inherent limitation in describing lighting details and insufficient pre-training on lighting-related prompts. Additionally, constructing high-quality relighting training data is challenging, as real-world controllable lighting data is scarce. To address these issues, we propose RelightMaster, a novel framework for accurate and controllable video relighting. First, we build RelightVideo, the first dataset with identical dynamic content under varying precise lighting conditions based on the Unreal Engine. Then, we introduce Multi-plane Light Image (MPLI), a novel visual prompt inspired by Multi-Plane Image (MPI). MPLI models lighting via K depth-aligned planes, representing 3D light source positions, intensities, and colors while supporting multi-source scenarios and generalizing to unseen light setups. Third, we design a Light Image Adapter that seamlessly injects MPLI into pre-trained Video Diffusion Transformers (DiT): it compresses MPLI via a pre-trained Video VAE and injects latent light features into DiT blocks, leveraging the base model's generative prior without catastrophic forgetting. Experiments show that RelightMaster generates physically plausible lighting and shadows and preserves original scene content. Demos are available at https://wkbian.github.io/Projects/RelightMaster/.
• Abstract（参考訳）: 近年の拡散モデルの進歩により高品質な映像生成と編集が可能になったが、シーン雰囲気や視聴者の注意を形作る上で重要な一貫した映像コンテンツによる正確なリライティングは未解明のままである。 メインストリームのテキスト・トゥ・ビデオ(T2V)モデルは、ライティングの詳細の記述におけるテキスト固有の制限と、ライティング関連のプロンプトの事前訓練が不十分なため、きめ細かいライティング制御を欠いている。 また、現実世界の制御可能な照明データが少ないため、高品質な照明訓練データの構築も困難である。 これらの問題に対処するため、我々は、正確かつ制御可能なビデオリライトのための新しいフレームワークであるRelightMasterを提案する。 まず、Unreal Engineをベースにした様々な正確な照明条件下で、同じ動的コンテンツを持つ最初のデータセットであるRelightVideoを構築します。 次に,Multi-Plane Image(MPI)にインスパイアされた新しい視覚プロンプトであるMulti-plane Light Image(MPLI)を紹介する。 MPLIは3次元光源の位置、強度、色を表現し、マルチソースシナリオをサポートし、目に見えないライト設定に一般化する。 第3に,MPLIを予め訓練したビデオ拡散変換器(DiT)にシームレスに注入するLight Image Adapterを設計する。 実験の結果、RelightMasterは物理的に可視な照明と影を生成し、オリジナルのシーンコンテンツを保存していることがわかった。 デモはhttps://wkbian.github.io/Projects/RelightMaster/.comで公開されている。

関連論文リスト

• UniLumos: Fast and Unified Image and Video Relighting with Physics-Plausible Feedback [31.03901228901908]
  画像とビデオの両方に統一されたリライトフレームワークUniLumosを提案する。 我々は、照明効果をシーン構造と明確に一致させ、物理的妥当性を高める。 実験により、UniLumosは物理的な一貫性を大幅に改善して最先端のリライトを実現している。
  論文  参考訳（メタデータ） (2025-11-03T15:41:41Z)
• Lumen: Consistent Video Relighting and Harmonious Background Replacement with Video Generative Models [18.008901495139717]
  本稿では,大規模ビデオ生成モデルを用いたエンドツーエンドのビデオリライトフレームワークであるLumenを提案する。 合成ドメインでは、高度な3Dレンダリングエンジンを活用し、多様な環境でビデオペアをキュレートする。 現実的な領域では、HDRベースの照明シミュレーションを適用して、ペアの内蔵ビデオの欠如を補う。
  論文  参考訳（メタデータ） (2025-08-18T14:21:22Z)
• LightSwitch: Multi-view Relighting with Material-guided Diffusion [73.5965603000002]
  LightSwitchは、新しいファインチューニングされたマテリアルライティング拡散フレームワークである。 我々の2Dリライティング予測品質は、画像から直接リライティングする過去の最先端リライティングよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-08T17:59:52Z)
• Light-A-Video: Training-free Video Relighting via Progressive Light Fusion [52.420894727186216]
  Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。 Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
  論文  参考訳（メタデータ） (2025-02-12T17:24:19Z)
• LumiSculpt: Enabling Consistent Portrait Lighting in Video Generation [87.95655555555264]
  ライティングは、ビデオ生成の自然性と美的品質を保証する上で重要な役割を担っている。 LumiSculptは、T2V生成モデルにおける正確で一貫した照明制御を可能にする。 LumiHumanは、画像やビデオのポートレートライティングのための新しいデータセットだ。
  論文  参考訳（メタデータ） (2024-10-30T12:44:08Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。