論文の概要: Lux Post Facto: Learning Portrait Performance Relighting with Conditional Video Diffusion and a Hybrid Dataset

• arxiv url: http://arxiv.org/abs/2503.14485v1
• Date: Tue, 18 Mar 2025 17:55:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:14:36.953060
• Title: Lux Post Facto: Learning Portrait Performance Relighting with Conditional Video Diffusion and a Hybrid Dataset
• Title（参考訳）: Lux Post Facto: 条件付きビデオ拡散とハイブリッドデータセットによるポートレート性能の学習
• Authors: Yiqun Mei, Mingming He, Li Ma, Julien Philip, Wenqi Xian, David M George, Xueming Yu, Gabriel Dedic, Ahmet Levent Taşel, Ning Yu, Vishal M. Patel, Paul Debevec,
• Abstract要約: 我々はLux Post Factoを紹介した。これは光リアリスティックと時間的に一貫した照明効果を両立させる新しいポートレートビデオライティング手法である。 提案手法では,静的表現OLATデータと画像内パフォーマンスビデオを組み合わせたハイブリッドデータセットを用いて,ライティングと時間的モデリングを共同で学習する。
• 参考スコア（独自算出の注目度）: 33.388553876200795
• License:
• Abstract: Video portrait relighting remains challenging because the results need to be both photorealistic and temporally stable. This typically requires a strong model design that can capture complex facial reflections as well as intensive training on a high-quality paired video dataset, such as dynamic one-light-at-a-time (OLAT). In this work, we introduce Lux Post Facto, a novel portrait video relighting method that produces both photorealistic and temporally consistent lighting effects. From the model side, we design a new conditional video diffusion model built upon state-of-the-art pre-trained video diffusion model, alongside a new lighting injection mechanism to enable precise control. This way we leverage strong spatial and temporal generative capability to generate plausible solutions to the ill-posed relighting problem. Our technique uses a hybrid dataset consisting of static expression OLAT data and in-the-wild portrait performance videos to jointly learn relighting and temporal modeling. This avoids the need to acquire paired video data in different lighting conditions. Our extensive experiments show that our model produces state-of-the-art results both in terms of photorealism and temporal consistency.
• Abstract（参考訳）: ビデオのポートレートリライティングは、結果がフォトリアリスティックで時間的に安定している必要があるため、依然として難しい。 これは通常、複雑な顔の反射をキャプチャできる強力なモデル設計と、動的ワンライト・アズ・ア・タイム(OLAT)のような高品質なペアビデオデータセットの集中的なトレーニングを必要とする。 本稿では,光写実性と時間的に一貫した照明効果を両立させる新しいポートレートビデオライティング手法であるLux Post Factoを紹介する。 モデル側では,最先端の訓練済みビデオ拡散モデル上に構築された条件付きビデオ拡散モデルと,高精度な制御を実現するための新しい照明注入機構を設計する。 このようにして、強い空間的および時間的生成能力を活用して、不測の照明問題に対するもっともらしい解を生成する。 提案手法では,静的表現OLATデータと画像内パフォーマンスビデオを組み合わせたハイブリッドデータセットを用いて,ライティングと時間的モデリングを共同で学習する。 これにより、異なる照明条件下でペア化されたビデオデータを取得する必要がなくなる。 我々のモデルは,光リアリズムと時間的一貫性の両面から,最先端の結果を生み出すことを示す。

関連論文リスト

• Light-A-Video: Training-free Video Relighting via Progressive Light Fusion [52.420894727186216]
  Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。 Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
  論文  参考訳（メタデータ） (2025-02-12T17:24:19Z)
• DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models [83.28670336340608]
  逆レンダリングとフォワードレンダリングの二重問題に対処するニューラルアプローチであるDiffusionRendererを導入する。 本モデルは,リライティング,素材編集,現実的なオブジェクト挿入など,単一のビデオ入力から現実的な応用を可能にする。
  論文  参考訳（メタデータ） (2025-01-30T18:59:11Z)
• RelightVid: Temporal-Consistent Diffusion Model for Video Relighting [95.10341081549129]
  RelightVidはビデオのリライトのためのフレキシブルなフレームワークだ。 バックグラウンドビデオ、テキストプロンプト、環境マップをリライト条件として受け入れることができる。 内在的な分解を伴わずに、時間的整合性の高い任意のビデオリライティングを実現する。
  論文  参考訳（メタデータ） (2025-01-27T18:59:57Z)
• SynthLight: Portrait Relighting with Diffusion Model by Learning to Re-render Synthetic Faces [16.65498750779018]
  ポートレートライティングのための拡散モデルであるSynthLightを紹介する。 本手法では,環境照明条件の変化に応じて画素を変換する再レンダリング問題として,画像のリライティングを行う。 我々は、この照明条件の変換を、様々な照明の下で3Dヘッドアセットでシミュレートするデータセットを合成する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:48Z)
• LumiSculpt: A Consistency Lighting Control Network for Video Generation [67.48791242688493]
  ライティングは、ビデオ生成の自然性を保証する上で重要な役割を果たす。 独立的でコヒーレントな照明特性を分離し、モデル化することは依然として困難である。 LumiSculptは、T2V生成モデルにおける正確で一貫した照明制御を可能にする。
  論文  参考訳（メタデータ） (2024-10-30T12:44:08Z)
• Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
  ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。 我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。 本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
  論文  参考訳（メタデータ） (2024-10-24T01:34:11Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• Personalized Video Relighting With an At-Home Light Stage [0.0]
  我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。 モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
  論文  参考訳（メタデータ） (2023-11-15T10:33:20Z)
• Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
  本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。 エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。