論文の概要: BodyReLux: Temporally Consistent Full-Body Video Relighting
- arxiv url: http://arxiv.org/abs/2605.21766v1
- Date: Wed, 20 May 2026 21:57:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:42.003276
- Title: BodyReLux: Temporally Consistent Full-Body Video Relighting
- Title（参考訳）: BodyReLux: 一時的に一貫性のあるフルボディビデオリライティング
- Abstract要約: 人体全体のパフォーマンスを時間的に一貫した方法でリライトするフレームワークであるBodyReLuxを提案する。
我々のモデルは、ピクセル対応のビデオリライトペアのハイブリッドデータセットに基づいて訓練されている。
我々は、被写体固有の人間のパフォーマンスの、フォトリアリスティック、ロバスト、時間的に一貫したビデオリライティングを実現する。
- 参考スコア（独自算出の注目度）: 8.409048029216258
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Being able to relight human performance is a fundamental task for post production and content creation. We present BodyReLux, a subject-specific video diffusion-based framework for relighting full-body human performances in a temporally consistent way. Our model is trained on a hybrid dataset of pixel-aligned video relighting pairs, covering a diverse combination of lighting conditions, performances and viewpoints. To acquire such dataset, we combine traditional static One-Light-at-a-Time (OLAT) capture and a novel dynamic performance capture in which two smoothly varying lighting sequences are rapidly interleaved. Because the lighting operates above the human flicker-fusion threshold, the interleaving does not appear to strobe. We train our video relighting model from a pretrained text-to-video model to fully leverage the generative priors for producing high quality videos. To achieve accurate lighting control, we introduce a new lighting conditioning method that represents each light source as a token. We further condition on sequences of lighting using masked attention to support dynamic lighting control. Together with a carefully designed data augmentation pipeline, we achieve photorealistic, robust, and temporally consistent video relighting of subject-specific human performances.
- Abstract（参考訳）: 人間のパフォーマンスをリライトできることは、ポストプロダクションとコンテンツ作成の基本的なタスクである。
BodyReLuxは、人体全体のパフォーマンスを時間的に一貫した方法でリライトするための、主題固有のビデオ拡散ベースのフレームワークである。
本モデルは,光条件,性能,視点の多種多様な組み合わせを網羅した,画素対応ビデオリライティングペアのハイブリッドデータセットを用いて訓練した。
このようなデータセットを取得するために、従来の静的なワンライト・アット・ア・タイム(OLAT)キャプチャと、スムーズに変化する2つの光シーケンスを素早くインターリーブする新しい動的パフォーマンスキャプチャを組み合わせる。
照明はヒトのフリック融合閾値以上で作動するため、インターリービングはストローブには見えない。
我々は,事前訓練されたテキスト・ツー・ビデオ・モデルからビデオ・リライティング・モデルをトレーニングし,高品質なビデオ制作に先立って生成する先駆的手法をフル活用する。
正確な照明制御を実現するために,各光源をトークンとして表現する新しい照明条件付け手法を提案する。
我々は、動的照明制御を支援するために、マスキングアテンションを用いた照明のシーケンスをさらに条件付けする。
慎重に設計されたデータ拡張パイプラインとともに、被写体固有の人間のパフォーマンスの、フォトリアリスティック、ロバスト、時間的に一貫したビデオリライティングを実現する。
関連論文リスト
- Light-X: Generative 4D Video Rendering with Camera and Illumination Control [52.87059646145144]
Light-Xは、視点制御と照明制御の両方でモノクロビデオから制御可能なレンダリングを可能にする、ビデオ生成フレームワークである。
マルチビューとマルチイルミネーションのペアビデオの欠如に対処するために,逆マッピングを備えた劣化ベースのパイプラインであるLight-Synを導入する。
論文 参考訳（メタデータ） (2025-12-04T18:59:57Z) - RelightMaster: Precise Video Relighting with Multi-plane Light Images [59.56389629981934]
RelightMasterは、正確で制御可能なビデオリライトのための新しいフレームワークである。
物理的に可視な照明と影を生成し、元のシーンの内容を保存する。
論文 参考訳（メタデータ） (2025-11-09T08:12:09Z) - ReLumix: Extending Image Relighting to Video via Video Diffusion Models [5.890782804843724]
ビデオのポストプロダクション中に照明を制御することは、計算写真において重要な目標である。
本稿では、時間合成からリライトを分離する新しいフレームワークであるReLumixを紹介する。
ReLumixは、合成データに基づいて訓練されているが、実世界のビデオに対する競争上の一般化を示している。
論文 参考訳（メタデータ） (2025-09-28T09:35:33Z) - UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting [85.27994475113056]
我々はアルベドを共同で推定し、単一のパスで信頼出力を合成する汎用的アプローチを導入する。
本モデルは,多様な領域にまたがる強力な一般化を示し,視覚的忠実度と時間的整合性の両方において,従来の手法を超越している。
論文 参考訳（メタデータ） (2025-06-18T17:56:45Z) - Lux Post Facto: Learning Portrait Performance Relighting with Conditional Video Diffusion and a Hybrid Dataset [33.388553876200795]
我々はLux Post Factoを紹介した。これは光リアリスティックと時間的に一貫した照明効果を両立させる新しいポートレートビデオライティング手法である。
提案手法では,静的表現OLATデータと画像内パフォーマンスビデオを組み合わせたハイブリッドデータセットを用いて,ライティングと時間的モデリングを共同で学習する。
論文 参考訳（メタデータ） (2025-03-18T17:55:22Z) - Light-A-Video: Training-free Video Relighting via Progressive Light Fusion [52.420894727186216]
Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。
Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
論文 参考訳（メタデータ） (2025-02-12T17:24:19Z) - RelightVid: Temporal-Consistent Diffusion Model for Video Relighting [95.10341081549129]
RelightVidはビデオのリライトのためのフレキシブルなフレームワークだ。
バックグラウンドビデオ、テキストプロンプト、環境マップをリライト条件として受け入れることができる。
内在的な分解を伴わずに、時間的整合性の高い任意のビデオリライティングを実現する。
論文 参考訳（メタデータ） (2025-01-27T18:59:57Z) - LumiSculpt: Enabling Consistent Portrait Lighting in Video Generation [87.95655555555264]
ライティングは、ビデオ生成の自然性と美的品質を保証する上で重要な役割を担っている。
LumiSculptは、T2V生成モデルにおける正確で一貫した照明制御を可能にする。
LumiHumanは、画像やビデオのポートレートライティングのための新しいデータセットだ。
論文 参考訳（メタデータ） (2024-10-30T12:44:08Z) - Personalized Video Relighting With an At-Home Light Stage [0.0]
我々は,高品質で時間的に一貫した映像をリアルタイムに生成するパーソナライズされたビデオリライティングアルゴリズムを開発した。
モニタでYouTubeビデオを見ているユーザの録画をキャプチャすることで、任意の条件下で高品質なリライティングを行うことのできるパーソナライズされたアルゴリズムをトレーニングできることを示す。
論文 参考訳（メタデータ） (2023-11-15T10:33:20Z) - Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文 参考訳（メタデータ） (2021-04-01T14:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。