論文の概要: UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting

• arxiv url: http://arxiv.org/abs/2506.15673v1
• Date: Wed, 18 Jun 2025 17:56:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.776125
• Title: UniRelight: Learning Joint Decomposition and Synthesis for Video Relighting
• Title（参考訳）: UniRelight: ビデオリライトのための共同分解と合成の学習
• Authors: Kai He, Ruofan Liang, Jacob Munkberg, Jon Hasselgren, Nandita Vijaykumar, Alexander Keller, Sanja Fidler, Igor Gilitschenski, Zan Gojcic, Zian Wang,
• Abstract要約: 我々はアルベドを共同で推定し、単一のパスで信頼出力を合成する汎用的アプローチを導入する。 本モデルは,多様な領域にまたがる強力な一般化を示し,視覚的忠実度と時間的整合性の両方において,従来の手法を超越している。
• 参考スコア（独自算出の注目度）: 85.27994475113056
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address the challenge of relighting a single image or video, a task that demands precise scene intrinsic understanding and high-quality light transport synthesis. Existing end-to-end relighting models are often limited by the scarcity of paired multi-illumination data, restricting their ability to generalize across diverse scenes. Conversely, two-stage pipelines that combine inverse and forward rendering can mitigate data requirements but are susceptible to error accumulation and often fail to produce realistic outputs under complex lighting conditions or with sophisticated materials. In this work, we introduce a general-purpose approach that jointly estimates albedo and synthesizes relit outputs in a single pass, harnessing the generative capabilities of video diffusion models. This joint formulation enhances implicit scene comprehension and facilitates the creation of realistic lighting effects and intricate material interactions, such as shadows, reflections, and transparency. Trained on synthetic multi-illumination data and extensive automatically labeled real-world videos, our model demonstrates strong generalization across diverse domains and surpasses previous methods in both visual fidelity and temporal consistency.
• Abstract（参考訳）: 我々は、シーン固有の理解と高品質な光輸送合成を必要とするタスクである、1つの画像やビデオをリライトすることの課題に対処する。 既存のエンドツーエンドのリライトモデルは、ペア化された多重照度データの不足によって制限されることが多く、多様なシーンにまたがる一般化の能力を制限する。 逆に、逆レンダリングと前方レンダリングを組み合わせた2段階のパイプラインは、データ要求を緩和するが、エラーの蓄積の影響を受けやすいため、複雑な照明条件や洗練された材料で現実的な出力を生成できないことが多い。 本研究では,映像拡散モデルの生成能力を利用して,アルベドを共同で推定し,信頼度の高い出力を1パスで合成する汎用的手法を提案する。 このジョイント・フォーミュレーションは暗黙のシーン理解を促進し、現実的な照明効果や影、反射、透明性といった複雑な物質相互作用の創造を促進する。 合成多照度データと拡張ラベル付き実世界のビデオに基づいて,本モデルは多様な領域にまたがる強力な一般化を示し,視覚的忠実度と時間的整合性の両方において従来の手法を超越している。

関連論文リスト

• MV-CoLight: Efficient Object Compositing with Consistent Lighting and Shadow Generation [19.46962637673285]
  MV-CoLightは2Dおよび3Dシーンで合成される照度一貫性のあるオブジェクトのためのフレームワークである。 2次元画像入力と3次元ガウスシーン表現をシームレスに整列するために、ヒルベルト曲線に基づく写像を用いる。 実験では、標準ベンチマークとデータセット間で、最先端の調和した結果を実証した。
  論文  参考訳（メタデータ） (2025-05-27T17:53:02Z)
• Comprehensive Relighting: Generalizable and Consistent Monocular Human Relighting and Harmonization [43.02033340663918]
  Comprehensive Relightingは、あらゆるシーンから任意の身体部分を持つ人間の画像やビデオから照明を制御し調和させる、最初のオールインワンのアプローチである。 実験では、Comprehensive Relightingは強力な一般化性と時間的コヒーレンスを示し、既存の画像に基づく人間のリライトと調和の手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-04-03T20:10:50Z)
• GroomLight: Hybrid Inverse Rendering for Relightable Human Hair Appearance Modeling [56.94251484447597]
  GroomLightは,マルチビュー画像からヘア外観を再現する新しい手法である。 両コンポーネントを最適化し,高忠実度リライト,ビュー合成,マテリアル編集を可能にするハイブリッド逆レンダリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-03-13T17:43:12Z)
• RelightVid: Temporal-Consistent Diffusion Model for Video Relighting [95.10341081549129]
  RelightVidはビデオのリライトのためのフレキシブルなフレームワークだ。 バックグラウンドビデオ、テキストプロンプト、環境マップをリライト条件として受け入れることができる。 内在的な分解を伴わずに、時間的整合性の高い任意のビデオリライティングを実現する。
  論文  参考訳（メタデータ） (2025-01-27T18:59:57Z)
• ReCap: Better Gaussian Relighting with Cross-Environment Captures [51.2614945509044]
  ReCapは、目に見えない環境で正確な3Dオブジェクトのリライトを行うマルチタスクシステムである。 具体的には、ReCapは共通の属性のセットを共有する複数の照明表現を共同で最適化する。 これにより、相互の材料属性を囲むコヒーレントな照明表現の集合が自然に調和し、様々な物体の外観の共通点と相違点を利用する。 合理化されたシェーディング機能と効果的な後処理とともに、ReCapは、拡張されたリライトベンチマークにおいて、主要な競合企業すべてを上回っている。
  論文  参考訳（メタデータ） (2024-12-10T14:15:32Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• Self-supervised Light Field View Synthesis Using Cycle Consistency [22.116100469958436]
  サイクル整合性を有する自己教師付き光場ビュー合成フレームワークを提案する。 サイクル一貫性制約は、生成されたビューを入力ビューと整合させるマッピングを構築するために使用される。 その結果、特に複数の中間ビューを生成する場合、最先端の光場ビュー合成法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-08-12T03:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。