論文の概要: Relit-LiVE: Relight Video by Jointly Learning Environment Video
- arxiv url: http://arxiv.org/abs/2605.06658v1
- Date: Thu, 07 May 2026 17:58:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:12.074454
- Title: Relit-LiVE: Relight Video by Jointly Learning Environment Video
- Title（参考訳）: Relit-LiVE: 共同学習型環境ビデオによるリライトビデオ
- Authors: Weiqing Xiao, Hong Li, Xiuyu Yang, Houyuan Chen, Wenyi Li, Tianqi Liu, Shaocong Xu, Chongjie Ye, Hao Zhao, Beibei Wang,
- Abstract要約: Relit-LiVEは、カメラポーズの事前知識を必要とせず、物理的に一貫性があり、時間的に安定した結果を生成する新しいビデオライティングフレームワークである。
私たちのキーとなる洞察は、レンダリングプロセスに生の参照イメージを明示的に導入することで、本質的な表現で必然的に失われたり破損したりする重要なシーンキューを復元することを可能にすることです。
我々のフレームワークは、シーンレベルのレンダリング、マテリアル編集、オブジェクト挿入、ストリーミングビデオのリライティングなど、様々なダウンストリームアプリケーションをサポートしている。
- 参考スコア（独自算出の注目度）: 17.623352754423287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances have shown that large-scale video diffusion models can be repurposed as neural renderers by first decomposing videos into intrinsic scene representations and then performing forward rendering under novel illumination. While promising, this paradigm fundamentally relies on accurate intrinsic decomposition, which remains highly unreliable for real-world videos and often leads to distorted appearances, broken materials, and accumulated temporal artifacts during relighting. In this work, we present Relit-LiVE, a novel video relighting framework that produces physically consistent, temporally stable results without requiring prior knowledge of camera pose. Our key insight is to explicitly introduce raw reference images into the rendering process, enabling the model to recover critical scene cues that are inevitably lost or corrupted in intrinsic representations. Furthermore, we propose a novel environment video prediction formulation that simultaneously generates relit videos and per-frame environment maps aligned with each camera viewpoint in a single diffusion process. This joint prediction enforces strong geometric-illumination alignment and naturally supports dynamic lighting and camera motion, significantly improving physical consistency in video relighting while easing the requirement of known per-frame camera pose. Extensive experiments demonstrate that Relit-LiVE consistently outperforms state-of-the-art video relighting and neural rendering methods across synthetic and real-world benchmarks. Beyond relighting, our framework naturally supports a wide range of downstream applications, including scene-level rendering, material editing, object insertion, and streaming video relighting. The Project is available at https://github.com/zhuxing0/Relit-LiVE.
- Abstract（参考訳）: 近年の進歩により、大規模ビデオ拡散モデルをニューラルレンダラーとして、まず動画を固有のシーン表現に分解し、新しい照明下で前方レンダリングを行うことで、再利用できることが示されている。
将来性はあるものの、このパラダイムは基本的には正確な内在的分解に依存しており、実際のビデオでは信頼性が高く、しばしば歪んだ外観、壊れた材料、そしてリライティング中に蓄積された時間的アーティファクトに繋がる。
本研究では、カメラポーズに関する事前の知識を必要とせず、物理的に一貫性があり、時間的に安定した結果を生成する新しいビデオリライトフレームワークであるRelit-LiVEを提案する。
私たちのキーとなる洞察は、レンダリングプロセスに生の参照イメージを明示的に導入することで、本質的な表現で必然的に失われたり破損したりする重要なシーンキューを復元することを可能にすることです。
さらに,フレームごとの映像とフレームごとの環境マップを同時に生成する新しい環境映像予測式を,単一拡散プロセスで提案する。
この共同予測は、強力な幾何学的照明アライメントを強制し、動的照明とカメラの動きを自然にサポートし、既知のフレーム当たりのカメラポーズの要求を緩和しながら、ビデオのリライティングにおける物理的な一貫性を大幅に改善する。
大規模な実験により、Relit-LiVEは、合成および実世界のベンチマークにおいて、最先端のビデオリライトとニューラルレンダリングメソッドを一貫して上回っていることが実証された。
リライティング以外にも、シーンレベルのレンダリング、マテリアル編集、オブジェクト挿入、ストリーミングビデオリライティングなど、さまざまなダウンストリームアプリケーションも自然にサポートしています。
このプロジェクトはhttps://github.com/zhuxing0/Relit-LiVEで入手できる。
関連論文リスト
- Lighting-grounded Video Generation with Renderer-based Agent Reasoning [56.50946217758078]
LiVERは、シーン制御可能なビデオ生成のための拡散ベースのフレームワークである。
本稿では, 映像合成を明示的な3次元シーン特性に適応させる新しい枠組みを提案する。
本手法は, 統一された3次元表現から制御信号を描画することで, これらの特性をアンタングル化する。
論文 参考訳（メタデータ） (2026-04-09T08:29:29Z) - ReLumix: Extending Image Relighting to Video via Video Diffusion Models [5.890782804843724]
ビデオのポストプロダクション中に照明を制御することは、計算写真において重要な目標である。
本稿では、時間合成からリライトを分離する新しいフレームワークであるReLumixを紹介する。
ReLumixは、合成データに基づいて訓練されているが、実世界のビデオに対する競争上の一般化を示している。
論文 参考訳（メタデータ） (2025-09-28T09:35:33Z) - Lumen: Consistent Video Relighting and Harmonious Background Replacement with Video Generative Models [18.008901495139717]
本稿では,大規模ビデオ生成モデルを用いたエンドツーエンドのビデオリライトフレームワークであるLumenを提案する。
合成ドメインでは、高度な3Dレンダリングエンジンを活用し、多様な環境でビデオペアをキュレートする。
現実的な領域では、HDRベースの照明シミュレーションを適用して、ペアの内蔵ビデオの欠如を補う。
論文 参考訳（メタデータ） (2025-08-18T14:21:22Z) - Light-A-Video: Training-free Video Relighting via Progressive Light Fusion [52.420894727186216]
Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。
Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
論文 参考訳（メタデータ） (2025-02-12T17:24:19Z) - DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models [83.28670336340608]
逆レンダリングとフォワードレンダリングの二重問題に対処するニューラルアプローチであるDiffusionRendererを導入する。
本モデルは,リライティング,素材編集,現実的なオブジェクト挿入など,単一のビデオ入力から現実的な応用を可能にする。
論文 参考訳（メタデータ） (2025-01-30T18:59:11Z) - RelightVid: Temporal-Consistent Diffusion Model for Video Relighting [95.10341081549129]
RelightVidはビデオのリライトのためのフレキシブルなフレームワークだ。
バックグラウンドビデオ、テキストプロンプト、環境マップをリライト条件として受け入れることができる。
内在的な分解を伴わずに、時間的整合性の高い任意のビデオリライティングを実現する。
論文 参考訳（メタデータ） (2025-01-27T18:59:57Z) - MoBluRF: Motion Deblurring Neural Radiance Fields for Blurry Monocular Video [25.964642223641057]
MoBluRFは、ぼやけたモノクロビデオのシャープ・テンポラル・ビューを合成するためのフレームワークである。
BRIの段階では、動的3Dシーンを再構成し、潜時シャープ線を予測するために使用されるベースレイを共同で初期化する。
MDDの段階では、ぼやけたモノクロビデオフレームに対して、Incrmental Latent Sharp-rays Prediction (ILSP) アプローチを導入する。
論文 参考訳（メタデータ） (2023-12-21T02:01:19Z) - Personalized Video Relighting With an At-Home Light Stage [0.0]
我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。
モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
論文 参考訳（メタデータ） (2023-11-15T10:33:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。