論文の概要: ReLumix: Extending Image Relighting to Video via Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2509.23769v1
• Date: Sun, 28 Sep 2025 09:35:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.434943
• Title: ReLumix: Extending Image Relighting to Video via Video Diffusion Models
• Title（参考訳）: ReLumix:ビデオ拡散モデルによる映像のリライティングの拡張
• Authors: Lezhong Wang, Shutong Jin, Ruiqi Cui, Anders Bjorholm Dahl, Jeppe Revall Frisvad, Siavash Bigdeli,
• Abstract要約: ビデオのポストプロダクション中に照明を制御することは、計算写真において重要な目標である。 本稿では、時間合成からリライトを分離する新しいフレームワークであるReLumixを紹介する。 ReLumixは、合成データに基づいて訓練されているが、実世界のビデオに対する競争上の一般化を示している。
• 参考スコア（独自算出の注目度）: 5.890782804843724
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controlling illumination during video post-production is a crucial yet elusive goal in computational photography. Existing methods often lack flexibility, restricting users to certain relighting models. This paper introduces ReLumix, a novel framework that decouples the relighting algorithm from temporal synthesis, thereby enabling any image relighting technique to be seamlessly applied to video. Our approach reformulates video relighting into a simple yet effective two-stage process: (1) an artist relights a single reference frame using any preferred image-based technique (e.g., Diffusion Models, physics-based renderers); and (2) a fine-tuned stable video diffusion (SVD) model seamlessly propagates this target illumination throughout the sequence. To ensure temporal coherence and prevent artifacts, we introduce a gated cross-attention mechanism for smooth feature blending and a temporal bootstrapping strategy that harnesses SVD's powerful motion priors. Although trained on synthetic data, ReLumix shows competitive generalization to real-world videos. The method demonstrates significant improvements in visual fidelity, offering a scalable and versatile solution for dynamic lighting control.
• Abstract（参考訳）: ビデオのポストプロダクション中に照明を制御することは、計算写真において重要な目標である。 既存のメソッドは柔軟性に欠けることが多く、ユーザーは特定のリライトモデルに制限される。 本稿では、時間合成からリライトアルゴリズムを分離する新しいフレームワークであるReLumixを紹介し、任意のリライト技術をビデオにシームレスに適用できるようにする。 提案手法は,映像のリライティングを単純な2段階のプロセスに再構成する:(1) アーティストは,選択された画像ベース技術(例えば拡散モデル,物理ベースレンダラー)を用いて,単一の参照フレームをリライトし,(2) 微調整による安定なビデオ拡散(SVD)モデルがシーケンス全体を通してシームレスにこの照度を伝搬する。 時間的コヒーレンスを確保し,アーティファクトを防止するため,スムーズな特徴ブレンディングのためのゲート型クロスアテンション機構と,SVDの強力な動きを生かした時間的ブートストラッピング戦略を導入する。 ReLumixは、合成データに基づいて訓練されているが、実世界のビデオに対する競争上の一般化を示している。 この方法は、動的照明制御のためのスケーラブルで汎用的なソリューションを提供することにより、視覚的忠実度を大幅に向上させる。

関連論文リスト

• TC-Light: Temporally Coherent Generative Rendering for Realistic World Transfer [47.22201704648345]
  照明とテクスチャ編集はワールド・トゥ・ワールド・トランスファーにとって重要な次元である。 既存の技術は、ビデオのリライティングモデルや条件付き世界生成モデルなどのトランスファーを実現するために、入力ビデオを生成的に再レンダリングする。 我々はこれらの問題を克服するための新しい生成計算であるTC-Lightを提案する。
  論文  参考訳（メタデータ） (2025-06-23T17:59:58Z)
• Light-A-Video: Training-free Video Relighting via Progressive Light Fusion [52.420894727186216]
  Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。 Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
  論文  参考訳（メタデータ） (2025-02-12T17:24:19Z)
• RelightVid: Temporal-Consistent Diffusion Model for Video Relighting [95.10341081549129]
  RelightVidはビデオのリライトのためのフレキシブルなフレームワークだ。 バックグラウンドビデオ、テキストプロンプト、環境マップをリライト条件として受け入れることができる。 内在的な分解を伴わずに、時間的整合性の高い任意のビデオリライティングを実現する。
  論文  参考訳（メタデータ） (2025-01-27T18:59:57Z)
• Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
  ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。 我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。 本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-24T01:34:11Z)
• Low-Light Video Enhancement with Synthetic Event Guidance [188.7256236851872]
  我々は、複数のフレームから合成イベントを使用して、低照度ビデオの強化と復元を誘導する。 本手法は,合成と実の両方のLLVEデータセットにおいて,既存の低照度映像や単一画像強調手法より優れる。
  論文  参考訳（メタデータ） (2022-08-23T14:58:29Z)
• Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
  本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。 エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。