論文の概要: DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models
- arxiv url: http://arxiv.org/abs/2501.18590v1
- Date: Thu, 30 Jan 2025 18:59:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-31 15:14:10.390702
- Title: DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models
- Title（参考訳）: DiffusionRenderer:ビデオ拡散モデルによるニューラルインバースとフォワードレンダリング
- Authors: Ruofan Liang, Zan Gojcic, Huan Ling, Jacob Munkberg, Jon Hasselgren, Zhi-Hao Lin, Jun Gao, Alexander Keller, Nandita Vijaykumar, Sanja Fidler, Zian Wang,
- Abstract要約: 逆レンダリングとフォワードレンダリングの二重問題に対処するニューラルアプローチであるDiffusionRendererを導入する。
本モデルは,リライティング,素材編集,現実的なオブジェクト挿入など,単一のビデオ入力から現実的な応用を可能にする。
- 参考スコア（独自算出の注目度）: 83.28670336340608
- License:
- Abstract: Understanding and modeling lighting effects are fundamental tasks in computer vision and graphics. Classic physically-based rendering (PBR) accurately simulates the light transport, but relies on precise scene representations--explicit 3D geometry, high-quality material properties, and lighting conditions--that are often impractical to obtain in real-world scenarios. Therefore, we introduce DiffusionRenderer, a neural approach that addresses the dual problem of inverse and forward rendering within a holistic framework. Leveraging powerful video diffusion model priors, the inverse rendering model accurately estimates G-buffers from real-world videos, providing an interface for image editing tasks, and training data for the rendering model. Conversely, our rendering model generates photorealistic images from G-buffers without explicit light transport simulation. Experiments demonstrate that DiffusionRenderer effectively approximates inverse and forwards rendering, consistently outperforming the state-of-the-art. Our model enables practical applications from a single video input--including relighting, material editing, and realistic object insertion.
- Abstract（参考訳）: 照明効果の理解とモデリングはコンピュータビジョンとグラフィックスの基本課題である。
古典的な物理ベースのレンダリング(PBR)は光輸送を正確にシミュレートするが、正確なシーン表現(3D幾何学、高品質な材料特性、照明条件など)に依存している。
そこで,DiffusionRendererは,逆および前方レンダリングという2つの問題に包括的枠組みで対処するニューラルアプローチである。
強力なビデオ拡散モデルを利用すると、逆レンダリングモデルは現実世界のビデオからGバッファを正確に推定し、画像編集タスクのためのインターフェースを提供し、レンダリングモデルのデータをトレーニングする。
逆に、我々のレンダリングモデルは、光輸送の明示的なシミュレーションをせずに、Gバッファからフォトリアリスティックな画像を生成する。
DiffusionRendererは、逆および前方レンダリングを効果的に近似し、一貫して最先端技術よりも優れていることを示す実験である。
本モデルは,リライティング,素材編集,現実的なオブジェクト挿入など,単一のビデオ入力から現実的な応用を可能にする。
関連論文リスト
- Materialist: Physically Based Editing Using Single-Image Inverse Rendering [50.39048790589746]
本稿では、学習に基づくアプローチとプログレッシブな微分可能レンダリングを組み合わせた手法を提案する。
提案手法は,より現実的な光物質相互作用,正確な影,大域的な照明を実現する。
また,全シーン形状を必要とせず,効果的に機能する材料透過性編集手法を提案する。
論文 参考訳（メタデータ） (2025-01-07T11:52:01Z) - GenLit: Reformulating Single-Image Relighting as Video Generation [44.409962561291216]
我々は、映像生成モデルに光操作を行うためのグラフィックスエンジンの能力を蒸留するフレームワークであるGenLitを紹介する。
我々は、小さな合成データセットのみに微調整されたモデルが、実際の画像に一般化可能であることを発見した。
論文 参考訳（メタデータ） (2024-12-15T15:40:40Z) - Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering [56.68286440268329]
現実世界のシーンの画像に仮想オブジェクトを正しく挿入するには、シーンの照明、幾何学、材料を深く理解する必要がある。
本稿では,物理ベースの逆レンダリングプロセスへのガイダンスとして,パーソナライズされた大規模拡散モデルを提案する。
本手法は,シーンライティングとトーンマッピングのパラメータを復元し,任意の仮想オブジェクトの光リアルな構成を室内や屋外のシーンの単一フレームやビデオで再現する。
論文 参考訳（メタデータ） (2024-08-19T05:15:45Z) - FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
動的顔の3Dレンダリングは難しい問題である。
本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
論文 参考訳（メタデータ） (2024-04-22T00:44:13Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Inverse Rendering of Translucent Objects using Physical and Neural
Renderers [13.706425832518093]
本研究では,半透明物体の1対の撮像画像のみから3次元形状,空間的反射率,均質散乱パラメータ,環境照度を推定する逆モデルを提案する。
2つの再構成は微分可能であるため、パラメータ推定を補助するために再構成損失を計算することができる。
我々は117Kシーンからなる半透明物体の大規模合成データセットを構築した。
論文 参考訳（メタデータ） (2023-05-15T04:03:11Z) - Relightify: Relightable 3D Faces from a Single Image via Diffusion
Models [86.3927548091627]
単一画像からの3次元顔BRDF再構成を高精度に行うために,拡散モデルを用いた最初のアプローチを提案する。
既存の手法とは対照的に,観測されたテクスチャを直接入力画像から取得することで,より忠実で一貫した推定が可能となる。
論文 参考訳（メタデータ） (2023-05-10T11:57:49Z) - DIB-R++: Learning to Predict Lighting and Material with a Hybrid
Differentiable Renderer [78.91753256634453]
そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。
そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。
より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
論文 参考訳（メタデータ） (2021-10-30T01:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。