論文の概要: LiveLight: Real-time Streaming Video Relighting with Interactive Control
- arxiv url: http://arxiv.org/abs/2608.01771v1
- Date: Mon, 03 Aug 2026 06:45:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.360731
- Title: LiveLight: Real-time Streaming Video Relighting with Interactive Control
- Title（参考訳）: LiveLight:インタラクティブコントロールによるリアルタイムストリーミングビデオリライティング
- Abstract要約: インタラクティブな3Dライティング制御を備えたリアルタイムストリーミングビデオリライティングのための,最初の拡散ベースのフレームワークであるLiveLightを紹介する。
拡散モデルに動的3D照明を効果的に注入し、低NFE予算下で高忠実度生成を維持し、対話型制御のための連続ストリーミングを容易にするという3つの重要な課題を克服する。
実世界のベンチマークと合成ベンチマークの実験は、LiveLightがリアルタイムに実行しながら最先端のリライト品質を達成することを示した。
- 参考スコア（独自算出の注目度）: 50.08584152649119
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present LiveLight, the first diffusion-based framework for real-time streaming video relighting with interactive 3D lighting control. Achieving this is non-trivial, as it requires overcoming three critical challenges: effectively injecting dynamic 3D lighting into a diffusion model, maintaining high-fidelity generation under an extremely low NFE (Number of Function Evaluations) budget for real-time speed, and facilitating continuous streaming for interactive control. To address these pain points, we propose three key designs. First, for accurate lighting injection, we propose a lightweight adapter that feeds Multi-Plane Light Irradiance (MPLI) conditions-depth-aware irradiance maps encoding 3D lighting geometry-directly into the diffusion backbone. Second, to prevent rendering quality degradation at low NFEs towards real-time distillation, we introduce a geometry-guided feedback branch. This training-time constraint leverages a frozen geometry estimator to enforce depth- and normal-consistent relighting, ensuring geometrically plausible shading without adding inference overhead. Finally, to enable streaming interaction, we develop a progressive rolling-window strategy that maintains a denoising ladder of latent chunks at varying noise levels. By propagating intermediate states, this strategy guarantees temporal coherence and supports arbitrarily long video relighting with per-frame reference refresh. Extensive experiments on real-world and synthetic benchmarks demonstrate that LiveLight achieves state-of-the-art relighting quality while running at real-time speed, significantly outperforming offline baselines in temporal stability, lighting controllability, and user preference. To foster real-time interactive relighting research, we will publicly release our models, training data, and synthetic data generator.
- Abstract（参考訳）: インタラクティブな3Dライティング制御を備えたリアルタイムストリーミングビデオリライティングのための,最初の拡散ベースのフレームワークであるLiveLightを紹介する。
ダイナミックな3D照明を拡散モデルに効果的に注入すること、極めて低いNFE(Number of Function Evaluations)予算下での高忠実度生成を維持すること、インタラクティブな制御を容易にすること、の3つの重要な課題を克服する必要がある。
これらの問題点に対処するために、我々は3つの重要な設計を提案する。
まず, 正確な光注入を行うために, 拡散バックボーンに3次元照明を直列に符号化したMPLI(Multi-Plane Light Irradiance)条件の深部光線マップを提供する軽量アダプタを提案する。
第2に,低NFEにおけるリアルタイム蒸留に向けたレンダリング品質劣化を防止するため,幾何誘導フィードバック分岐を導入する。
この訓練時間制約は凍結幾何推定器を利用して深度と常圧の照準を強制し、推測オーバーヘッドを加えることなく幾何的に可視なシェーディングを確保する。
最後に, 各種ノイズレベルにおける遅延チャンクのデノイングラグを維持するため, プログレッシブ・ローリング・ウインドウ・ストラテジーを開発した。
中間状態を伝搬することにより、この戦略は時間的コヒーレンスを保証し、フレーム単位の参照リフレッシュで任意に長いビデオリライトをサポートする。
リアルタイムおよび合成ベンチマークに関する大規模な実験は、LiveLightがリアルタイムに実行しながら最先端のリライト品質を実現し、時間的安定性、照明制御性、ユーザの好みにおいてオフラインベースラインを大幅に上回っていることを示している。
リアルタイムのインタラクティブなリライト研究を促進するため、我々は、我々のモデル、トレーニングデータ、合成データ生成装置を公開します。
関連論文リスト
- SpotlessGS: Relightable 3D Gaussian Splatting under Dynamic Illumination for Robotic Perception [20.515607443256073]
我々はDark Gaussian Splattingをより正確でフレキシブルな3D再構成フレームワークに拡張する。
球面高調波に基づく低周波照明モデルを導入し,空間的に異なる残差と周囲の照明効果を捉える。
合成および実世界のデータセットに対する実験により,従来の手法よりもレンダリング品質と量的性能を向上しつつ,照明アーチファクトを効果的に軽減できることが示されている。
論文 参考訳（メタデータ） (2026-08-11T17:35:34Z) - DeepIPCv3: Event-Aware Multi-Modal Sensor Fusion for Sudden Pedestrian Crossing Avoidance [4.219150964619931]
DeepIPCv3は、新しいマルチモーダル自律ナビゲーションフレームワークである。
ダイナミックビジョンセンサーのマイクロ秒レベルの非同期イベントストリームとLiDAR点雲の密度の高い3次元空間幾何学を相乗化する。
提案されたLiDARとDVSの融合は、低軌道と制御コマンドエラーをもたらし、非常に反応性が高く数学的に拘束された回避操作を可能にする。
論文 参考訳（メタデータ） (2026-05-31T14:59:01Z) - Adaptive Illumination Control for Robot Perception [6.718749267591075]
Lightningは、ビジュアルSLAMのためのクローズドループ照明制御フレームワークである。
ライティング、オフライン最適化、模倣学習を組み合わせたものだ。
SLAM軌道を大幅に改善し、不要な照明電力を低減させる。
論文 参考訳（メタデータ） (2026-02-13T03:34:01Z) - RRNet: Configurable Real-Time Video Enhancement with Arbitrary Local Lighting Variations [7.360594425594612]
本稿では,視覚的品質と効率のトレードオフを実現するフレームワークRRNetを紹介する。
RRNetは、ピクセル対応のトレーニングデータを必要とすることなく、深度対応のレンダリングモジュールを通じてローカライズされたリライトを可能にする。
実験により、RRNetは、低照度向上、局所照明調整、グラア除去において、従来手法よりも一貫して優れていたことが示されている。
論文 参考訳（メタデータ） (2026-01-05T07:50:59Z) - Rolling Forcing: Autoregressive Long Video Diffusion in Real Time [86.40480237741609]
Rolling Forcingは、エラーの最小限の蓄積で長いビデオをストリーミングできる、新しいビデオ生成技術である。
転がり強制力には3つの新しい設計が伴う。第一に、エラー伝播を加速する個別のフレームを反復的にサンプリングする代わりに、共同演示方式を設計する。
第2に,アテンションシンク機構を長軸ストリームビデオ生成タスクに導入し,初期フレームのキー値状態をグローバルなコンテキストアンカーとして保持する。
第3に,大半が拡張された遮音窓上での無段蒸留を可能にする効率的な訓練アルゴリズムを設計する。
論文 参考訳（メタデータ） (2025-09-29T17:57:14Z) - Zero-TIG: Temporal Consistency-Aware Zero-Shot Illumination-Guided Low-light Video Enhancement [2.9695823613761316]
低照度と水中のビデオは視界が悪く、コントラストが低く、ノイズが高い。
既存のアプローチは通常、ペア化された基底真理に依存しており、実際性は制限され、しばしば時間的一貫性の維持に失敗する。
本稿では、Retinex理論と光フロー技術を活用したゼロショット学習手法Zero-TIGを提案する。
論文 参考訳（メタデータ） (2025-03-14T08:22:26Z) - Real-time 3D-aware Portrait Video Relighting [89.41078798641732]
ニューラル・ラジアンス・フィールド(NeRF)を応用した3次元映像の映像再生のための3D認識方式を提案する。
我々は、高速なデュアルエンコーダを備えたビデオフレーム毎に所望の照明条件に基づいて、アルベド三面体とシェーディング三面体を推定する。
本手法は, 消費者レベルのハードウェア上で32.98fpsで動作し, 再現性, 照明誤差, 照明不安定性, 時間的整合性, 推論速度の両面から最新の結果が得られる。
論文 参考訳（メタデータ） (2024-10-24T01:34:11Z) - Unrolled Decomposed Unpaired Learning for Controllable Low-Light Video Enhancement [48.76608212565327]
本稿では,2対の地上真実を使わずに,低照度映像のエンハンスメントを学習する上での取り組みについて述べる。
低照度画像の強調に比べて、空間領域におけるノイズ、露出、コントラストの相互干渉効果により、時間的コヒーレンスの必要性が伴うため、低照度映像の強調は困難である。
本稿では,信号の空間的・時間的関連要因に分解するために,最適化関数を深層ネットワークにアンロールすることで低照度映像の高精細化を実現するUnrolled Decompposed Unpaired Network (UDU-Net)を提案する。
論文 参考訳（メタデータ） (2024-08-22T11:45:11Z) - Low-Light Video Enhancement via Spatial-Temporal Consistent Decomposition [52.89441679581216]
低照度ビデオエンハンスメント(LLVE)は、激しい視認性とノイズに悩まされる動的または静的なシーンの復元を目指している。
本稿では、ビューに依存しない、ビューに依存しないコンポーネントを組み込んだ革新的なビデオ分解戦略を提案する。
我々のフレームワークは、既存のメソッドを一貫して上回り、新しいSOTAパフォーマンスを確立します。
論文 参考訳（メタデータ） (2024-05-24T15:56:40Z) - Spatiotemporally Consistent HDR Indoor Lighting Estimation [66.26786775252592]
本研究では,屋内照明推定問題を解決するための物理動機付きディープラーニングフレームワークを提案する。
深度マップを用いた1枚のLDR画像から,任意の画像位置における空間的に一貫した照明を予測できる。
我々のフレームワークは、最先端の単一画像やビデオベースの手法と比較して、高画質で光リアリスティック照明予測を実現する。
論文 参考訳（メタデータ） (2023-05-07T20:36:29Z) - Deep Parametric 3D Filters for Joint Video Denoising and Illumination
Enhancement in Video Super Resolution [96.89588203312451]
本稿では,Deep Parametric 3D Filters (DP3DF) と呼ばれる新しいパラメトリック表現を提案する。
DP3DFは、ローカル情報を組み込んで、単一エンコーダ/デコーダネットワークにおいて、同時復調、照明強化、SRを効率的に実現している。
また、動的残留フレームを共有バックボーンを介してDP3DFと共同で学習し、SR品質をさらに向上させる。
論文 参考訳（メタデータ） (2022-07-05T03:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。