論文の概要: JointLight: Human-Centric Video Relighting with Asynchronous RGB-Irradiance Joint Modeling

• arxiv url: http://arxiv.org/abs/2610.29780v1
• Date: Wed, 21 Oct 2026 14:08:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.381296
• Title: JointLight: Human-Centric Video Relighting with Asynchronous RGB-Irradiance Joint Modeling
• Title（参考訳）: JointLight: Asynchronous RGB-Irradiance Joint Modelingを用いた人中心ビデオライティング
• Abstract要約: 我々は,きめ細かい照明制御を容易にする非同期な共同モデリングパラダイムを導入する。 トレーニングデータとして,強力なゲームエンジンを用いて,ペアリングした照度マップを用いた高品質な合成ビデオデータセットを開発する。 本モデルは,実世界のシナリオに対する堅牢な一般化を示し,照明忠実度と生成品質の両方において,従来の手法より優れる。
• 参考スコア（独自算出の注目度）: 27.840079380236602
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Understanding and modeling light transport in human-centric scenes is a longstanding challenge. While recent progress in diffusion models has boosted research in relighting, precise illumination control still lags, primarily due to the scarcity of diverse, high-quality, precisely labeled video relighting datasets. Existing end-to-end relighting approaches model light transport implicitly through neural networks, which substantially complicates controllability. In contrast, some works resort to path-traced irradiance cues as an explicit blueprint for light transport. However, such constructed irradiance cues are prone to artifacts and hinder generative quality when directly used as control signals. With the key observation that noise corruption removes high-frequency artifacts and preserves low-frequency light transport, we introduce an asynchronous joint-modeling paradigm that facilitates fine-grained illumination control. During two-stage training, we force the model to jointly denoise RGB and ground-truth irradiance frames with separate timesteps scheduling. A domain matching strategy is applied to the second stage to bridge the domain gap between irradiance cues and ground-truth irradiance maps. At inference time, we introduce an asynchronous hijacked generation pipeline that facilitates flexible illumination control. For training data, we develop a multi-illumination high-quality synthetic video dataset with paired irradiance maps using a powerful game engine. Trained exclusively on this dataset, our model exhibits robust generalization to real- world scenarios and outperforms prior approaches in both lighting fidelity and generative quality. The code and dataset will be publicly released.
• Abstract（参考訳）: 人間中心のシーンにおける光輸送の理解とモデル化は、長年にわたる課題である。 拡散モデルの最近の進歩は、リライティングの研究を加速させているが、その主な原因は、多種多様な高品質な正確なラベル付きビデオリライティングデータセットの不足による、正確な照明制御の遅れである。 既存のエンドツーエンドのリライトアプローチは、ニューラルネットワークを介して暗黙的に光輸送をモデル化する。 対照的に、光輸送の明示的な青写真として、パストレーシングの照射キューを利用する作品もある。 しかし、このような構成された照射キューは、アーティファクトに傾向があり、直接制御信号として使用すると、生成品質を損なう。 ノイズ劣化は高周波のアーティファクトを除去し、低周波光輸送を保ちながら、微細な照明制御を容易にする非同期なジョイントモデリングパラダイムを導入する。 2段階のトレーニングでは,RGBと地中照度フレームを別段の時間ステップスケジューリングで共同で認知させる。 領域マッチング戦略を第2段階に適用し、照度キューと地中照度マップの間の領域ギャップをブリッジする。 推論時に,フレキシブル照明制御を容易にする非同期ハイジャック生成パイプラインを導入する。 トレーニングデータとして,強力なゲームエンジンを用いたペアリング照度マップを用いた多照度高画質合成ビデオデータセットを開発した。 このデータセットを専門にトレーニングし、実世界のシナリオに頑健な一般化を示し、照明の忠実さと生成品質の両方において先行したアプローチを上回ります。 コードとデータセットは公開される。

関連論文リスト

• LiveLight: Real-time Streaming Video Relighting with Interactive Control [50.08584152649119]
  インタラクティブな3Dライティング制御を備えたリアルタイムストリーミングビデオリライティングのための,最初の拡散ベースのフレームワークであるLiveLightを紹介する。 拡散モデルに動的3D照明を効果的に注入し、低NFE予算下で高忠実度生成を維持し、対話型制御のための連続ストリーミングを容易にするという3つの重要な課題を克服する。 実世界のベンチマークと合成ベンチマークの実験は、LiveLightがリアルタイムに実行しながら最先端のリライト品質を達成することを示した。
  論文  参考訳（メタデータ） (2026-08-03T06:45:00Z)
• LGTM: Training-Free Light-Guided Text-to-Image Diffusion Model via Initial Noise Manipulation [7.432606687404551]
  Initial Noise Manipulation を用いた学習自由光誘導型テキスト・画像拡散モデルを提案する。 拡散過程の初期潜音を操り、テキストプロンプトとユーザが特定した光方向で画像生成を誘導する。 画像の品質とテキストアライメントを保ちながら、ライトの一貫性において、プロンプトベースのベースラインを超える。
  論文  参考訳（メタデータ） (2026-03-25T08:46:31Z)
• Strip-Fusion: Spatiotemporal Fusion for Multispectral Pedestrian Detection [0.27528170226206433]
  多スペクトルモード(可視光と熱)は、相補的な視覚情報を提供することで歩行者検出性能を高めることができる。 既存のアプローチは主に空間融合に焦点を当て、時空間情報を無視する。 本研究では,入力画像の誤り修正に頑健な空間時間融合ネットワークStrip-Fusionを提案する。
  論文  参考訳（メタデータ） (2026-01-25T21:58:07Z)
• Light-X: Generative 4D Video Rendering with Camera and Illumination Control [52.87059646145144]
  Light-Xは、視点制御と照明制御の両方でモノクロビデオから制御可能なレンダリングを可能にする、ビデオ生成フレームワークである。 マルチビューとマルチイルミネーションのペアビデオの欠如に対処するために,逆マッピングを備えた劣化ベースのパイプラインであるLight-Synを導入する。
  論文  参考訳（メタデータ） (2025-12-04T18:59:57Z)
• LuxDiT: Lighting Estimation with Video Diffusion Transformer [66.60450792095901]
  単一の画像やビデオからシーンライティングを推定することは、コンピュータビジョンとグラフィックスにおいて長年の課題である。 本稿では,映像拡散変換器を微調整し,視覚入力を前提としたHDR環境マップを生成するLuxDiTを提案する。
  論文  参考訳（メタデータ） (2025-09-03T19:59:20Z)
• UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting [85.27994475113056]
  我々はアルベドを共同で推定し、単一のパスで信頼出力を合成する汎用的アプローチを導入する。 本モデルは,多様な領域にまたがる強力な一般化を示し,視覚的忠実度と時間的整合性の両方において,従来の手法を超越している。
  論文  参考訳（メタデータ） (2025-06-18T17:56:45Z)
• BVI-RLV: A Fully Registered Dataset and Benchmarks for Low-Light Video Enhancement [56.97766265018334]
  本稿では,2つの異なる低照度条件下での様々な動きシナリオを持つ40のシーンからなる低照度映像データセットを提案する。 我々は、プログラム可能なモータードリーを用いて、通常の光で捉えた完全に登録された地上真実データを提供し、異なる光レベルにわたるピクセルワイドフレームアライメントのための画像ベースアプローチによりそれを洗練する。 実験の結果,Low-light Video enhancement (LLVE) における完全登録ビデオペアの重要性が示された。
  論文  参考訳（メタデータ） (2024-07-03T22:41:49Z)
• Neural Video Portrait Relighting in Real-time via Consistency Modeling [41.04622998356025]
  本稿では,リアルタイム,高品質,コヒーレントな映像ポートレートリライティングのためのニューラルアプローチを提案する。 エンコーダデコーダアーキテクチャにおけるハイブリッド構造と照明非絡み合いを提案する。 また,実世界における自然ポートレート光操作の照明一貫性と突然変異をモデル化する照明サンプリング戦略を提案する。
  論文  参考訳（メタデータ） (2021-04-01T14:13:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。