論文の概要: Light-A-Video: Training-free Video Relighting via Progressive Light Fusion

• arxiv url: http://arxiv.org/abs/2502.08590v1
• Date: Wed, 12 Feb 2025 17:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:48:01.967156
• Title: Light-A-Video: Training-free Video Relighting via Progressive Light Fusion
• Title（参考訳）: Light-A-Video: プログレッシブ・ライトフュージョンによるトレーニング不要のビデオリライティング
• Authors: Yujie Zhou, Jiazi Bu, Pengyang Ling, Pan Zhang, Tong Wu, Qidong Huang, Jinsong Li, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Anyi Rao, Jiaqi Wang, Li Niu,
• Abstract要約: Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。 Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
• 参考スコア（独自算出の注目度）: 52.420894727186216
• License:
• Abstract: Recent advancements in image relighting models, driven by large-scale datasets and pre-trained diffusion models, have enabled the imposition of consistent lighting. However, video relighting still lags, primarily due to the excessive training costs and the scarcity of diverse, high-quality video relighting datasets. A simple application of image relighting models on a frame-by-frame basis leads to several issues: lighting source inconsistency and relighted appearance inconsistency, resulting in flickers in the generated videos. In this work, we propose Light-A-Video, a training-free approach to achieve temporally smooth video relighting. Adapted from image relighting models, Light-A-Video introduces two key techniques to enhance lighting consistency. First, we design a Consistent Light Attention (CLA) module, which enhances cross-frame interactions within the self-attention layers to stabilize the generation of the background lighting source. Second, leveraging the physical principle of light transport independence, we apply linear blending between the source video's appearance and the relighted appearance, using a Progressive Light Fusion (PLF) strategy to ensure smooth temporal transitions in illumination. Experiments show that Light-A-Video improves the temporal consistency of relighted video while maintaining the image quality, ensuring coherent lighting transitions across frames. Project page: https://bujiazi.github.io/light-a-video.github.io/.
• Abstract（参考訳）: 大規模データセットと事前学習拡散モデルによって駆動される画像照明モデルの最近の進歩は、一貫した照明の付与を可能にしている。 しかし、ビデオのリライティングは、トレーニングコストの過大さと、多種多様な高品質のビデオリライティングデータセットの不足により、まだ遅れている。 フレーム単位でのイメージリライティングモデルの簡単な適用は、ソースの不整合とリライティングされた外観の不整合といういくつかの問題を引き起こし、生成されたビデオにフリッカが発生する。 本研究では,時間的にスムーズな映像リライティングを実現するためのトレーニング不要な方法であるLight-A-Videoを提案する。 Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。 まず,CLA(Consistent Light Attention)モジュールを設計し,自己アテンション層内のフレーム間相互作用を改善し,背景光源の発生を安定化させる。 第2に,光輸送独立の物理的原理を生かして,光源映像の外観とライティングされた外観を線形にブレンドし,光のスムーズな時間遷移を保証するためにプログレッシブ光融合(PLF)戦略を適用した。 実験により、ライト・ア・ビデオは、画質を維持しながらリライトされたビデオの時間的一貫性を改善し、フレーム間のコヒーレントな光遷移を保証することが示された。 プロジェクトページ: https://bujiazi.github.io/light-a-video.github.io/

関連論文リスト

• Lumina-Video: Efficient and Flexible Video Generation with Multi-scale Next-DiT [98.56372305225271]
  Lumina-Nextは、Next-DiTによる画像生成において、例外的なパフォーマンスを実現している。 Lumina-VideoにはマルチスケールのNext-DiTアーキテクチャが組み込まれており、複数のパッチを共同で学習している。 本稿では,Next-DiTに基づく音声合成モデルであるLumina-V2Aを提案する。
  論文  参考訳（メタデータ） (2025-02-10T18:58:11Z)
• RelightVid: Temporal-Consistent Diffusion Model for Video Relighting [95.10341081549129]
  RelightVidはビデオのリライトのためのフレキシブルなフレームワークだ。 バックグラウンドビデオ、テキストプロンプト、環境マップをリライト条件として受け入れることができる。 内在的な分解を伴わずに、時間的整合性の高い任意のビデオリライティングを実現する。
  論文  参考訳（メタデータ） (2025-01-27T18:59:57Z)
• LumiSculpt: A Consistency Lighting Control Network for Video Generation [67.48791242688493]
  ライティングは、ビデオ生成の自然性を保証する上で重要な役割を果たす。 独立的でコヒーレントな照明特性を分離し、モデル化することは依然として困難である。 LumiSculptは、T2V生成モデルにおける正確で一貫した照明制御を可能にする。
  論文  参考訳（メタデータ） (2024-10-30T12:44:08Z)
• Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
  ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。 我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。 本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-24T01:34:11Z)
• Personalized Video Relighting With an At-Home Light Stage [0.0]
  我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。 モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2023-11-15T10:33:20Z)
• Low-Light Video Enhancement with Synthetic Event Guidance [188.7256236851872]
  我々は、複数のフレームから合成イベントを使用して、低照度ビデオの強化と復元を誘導する。 本手法は,合成と実の両方のLLVEデータセットにおいて,既存の低照度映像や単一画像強調手法より優れる。
  論文  参考訳（メタデータ） (2022-08-23T14:58:29Z)
• Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
  本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。 エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。