論文の概要: HarmoVid: Relightful Video Portrait Harmonization
- arxiv url: http://arxiv.org/abs/2605.28811v1
- Date: Wed, 27 May 2026 17:59:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:56.267304
- Title: HarmoVid: Relightful Video Portrait Harmonization
- Title（参考訳）: HarmoVid: 楽しい動画ポートレートハーモニゼーション
- Authors: Jun Myeong Choi, Jae Shin Yoon, Luchao Qi, Roni Sengupta, Joon-Young Lee,
- Abstract要約: 本研究では,前景映像の照度を目標の背景シーンに合わせるために調和させる手法を提案する。
画像とは異なり、ビデオのラベル付きデータを取得することは事実上不可能であり、スケールできない。
そこで本研究では,グローバルおよびローカル照明のフレッカリングアーティファクトを安定化させる新しい照明消灯モデルを提案する。
- 参考スコア（独自算出の注目度）: 32.950000237388686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a method for harmonizing the lighting of a foreground video to match a target background scene, adjusting shadows, color tone, and illumination intensity (relightful harmonization). Unlike images, acquiring labeled data for videos, where identical motions are recorded under different lighting conditions, is practically infeasible and non-scalable. While one way to create such paired data is to apply existing image-based harmonization models frame by frame to a video, the resulting outputs often suffer from significant temporal jitters. We overcome this problem by introducing a novel lighting deflickering model that can stabilize the global and local lighting flickering artifacts. Our video diffusion model learns from these upgraded deflickered data with a volume of real and synthetic videos to generate high-quality video harmonization results. We further propose an asymmetric alpha mask conditioning technique to learn the clean boundaries from real videos. Experiments demonstrate that our model achieves strong temporal coherence, naturalness, cleaner boundaries, and physically meaningful lighting behavior, while maintaining strong relighting expressiveness compared to prior image-based and video-based harmonization methods.
- Abstract（参考訳）: 本研究では,前景映像の照度を調和させて,対象の背景シーンと一致させ,影の調整,色調,照度(照度)を調整する方法を提案する。
画像とは異なり、同じ動きが異なる照明条件下で記録されるビデオのラベル付きデータを取得することは、事実上不可能であり、スケールできない。
このようなペア化されたデータを作成する方法の1つは、既存の画像ベースの調和モデルフレームをビデオにフレームで適用することである。
我々はこの問題を解決するために,グローバル・ローカル・ライト・フレッカリング・アーティファクトを安定化させる新しい照明フレッカリング・モデルを導入する。
ビデオ拡散モデルは,高画質なビデオ調和結果を生成するために,実ビデオと合成ビデオのボリュームを改良したデクリッカデータから学習する。
さらに、実際のビデオからクリーンな境界を学習するための非対称なアルファマスク条件付け手法を提案する。
実験により,従来の画像ベースやビデオベースのハーモニゼーション手法と比較して,強い照度表現性を維持しつつ,強い時間的コヒーレンス,自然性,よりクリーンな境界,物理的に意味のある照明行動を実現することが示された。
関連論文リスト
- Light-X: Generative 4D Video Rendering with Camera and Illumination Control [52.87059646145144]
Light-Xは、視点制御と照明制御の両方でモノクロビデオから制御可能なレンダリングを可能にする、ビデオ生成フレームワークである。
マルチビューとマルチイルミネーションのペアビデオの欠如に対処するために,逆マッピングを備えた劣化ベースのパイプラインであるLight-Synを導入する。
論文 参考訳（メタデータ） (2025-12-04T18:59:57Z) - ReLumix: Extending Image Relighting to Video via Video Diffusion Models [5.890782804843724]
ビデオのポストプロダクション中に照明を制御することは、計算写真において重要な目標である。
本稿では、時間合成からリライトを分離する新しいフレームワークであるReLumixを紹介する。
ReLumixは、合成データに基づいて訓練されているが、実世界のビデオに対する競争上の一般化を示している。
論文 参考訳（メタデータ） (2025-09-28T09:35:33Z) - Lumen: Consistent Video Relighting and Harmonious Background Replacement with Video Generative Models [18.008901495139717]
本稿では,大規模ビデオ生成モデルを用いたエンドツーエンドのビデオリライトフレームワークであるLumenを提案する。
合成ドメインでは、高度な3Dレンダリングエンジンを活用し、多様な環境でビデオペアをキュレートする。
現実的な領域では、HDRベースの照明シミュレーションを適用して、ペアの内蔵ビデオの欠如を補う。
論文 参考訳（メタデータ） (2025-08-18T14:21:22Z) - UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting [85.27994475113056]
我々はアルベドを共同で推定し、単一のパスで信頼出力を合成する汎用的アプローチを導入する。
本モデルは,多様な領域にまたがる強力な一般化を示し,視覚的忠実度と時間的整合性の両方において,従来の手法を超越している。
論文 参考訳（メタデータ） (2025-06-18T17:56:45Z) - Lux Post Facto: Learning Portrait Performance Relighting with Conditional Video Diffusion and a Hybrid Dataset [33.388553876200795]
我々はLux Post Factoを紹介した。これは光リアリスティックと時間的に一貫した照明効果を両立させる新しいポートレートビデオライティング手法である。
提案手法では,静的表現OLATデータと画像内パフォーマンスビデオを組み合わせたハイブリッドデータセットを用いて,ライティングと時間的モデリングを共同で学習する。
論文 参考訳（メタデータ） (2025-03-18T17:55:22Z) - Light-A-Video: Training-free Video Relighting via Progressive Light Fusion [52.420894727186216]
Light-A-Videoは、時間的にスムーズなビデオリライティングを実現するためのトレーニング不要のアプローチである。
Light-A-Videoは、画像のリライティングモデルに適応して、照明の一貫性を高める2つの重要な技術を導入している。
論文 参考訳（メタデータ） (2025-02-12T17:24:19Z) - RelightVid: Temporal-Consistent Diffusion Model for Video Relighting [95.10341081549129]
RelightVidはビデオのリライトのためのフレキシブルなフレームワークだ。
バックグラウンドビデオ、テキストプロンプト、環境マップをリライト条件として受け入れることができる。
内在的な分解を伴わずに、時間的整合性の高い任意のビデオリライティングを実現する。
論文 参考訳（メタデータ） (2025-01-27T18:59:57Z) - Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。
我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。
本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
論文 参考訳（メタデータ） (2024-10-24T01:34:11Z) - Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。
エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。
また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
論文 参考訳（メタデータ） (2021-04-01T14:13:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。