論文の概要: Relightable Gaussian Splatting for Virtual Production Using Image-Based Illumination

• arxiv url: http://arxiv.org/abs/2605.09024v1
• Date: Sat, 09 May 2026 16:04:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 02:24:05.51322
• Title: Relightable Gaussian Splatting for Virtual Production Using Image-Based Illumination
• Title（参考訳）: 画像ベースイルミネーションによる仮想生産のための楽しいガウススプレイティング
• Authors: Adrian Azzarelli, Nantheera Anantrasirichai, James Pollock, David R. Bull,
• Abstract要約: 仮想プロダクション(VP)は、背景画像と画像ベースの照明の両方を提供するためにLED壁を使用する。 逆レンダリングでは、物理ベースのレンダリングは環境マップを用いて、推定3次元幾何学と照明に依存している。 本稿では,ガウススプラッティングを用いた3次元再構成とリライティングのためのVP固有のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.673030658112764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Virtual production (VP) use LED walls to provide both background imagery and image-based lighting. While this enables on-set compositing, it couples lighting to background and scene appearance, limiting flexibility for downstream editing. In addition, inverse rendering conventionally relies on physically-based rendering to estimates 3D geometry and lighting, using environment maps. However, these maps are typically low-resolution and assume far-field lighting. In VP, with near-field and high-resolution image-based lighting, this can lead to inaccuracies and introduce complexities when editing. Addressing this, we propose a VP-specific framework for 3D reconstruction and relighting using Gaussian Splatting. This uses the known background imagery to condition the relighting process. This avoids relying on environment maps and reduces compositing to a background-image editing task. To realize our framework, we introduce a process (and associated dataset) that captures real VP scenes under varying background content and illumination conditions. This data is used to decompose a 3D scene into fixed appearance and variable lighting components. The variable lighting process simulates light transport by parameterizing each primitive with a UV coordinate, intensity value and resolution modifier. Using mipmaps, these directly sample the background texture in image space - implicitly capturing reflections and refractions without physically-based rendering. Combined with the fixed appearance component, this allows us to render relit scenes using a Gaussian Splatting rasterizer. Compared to baselines, our approach achieves higher-quality 3D reconstruction and controllable relighting. The method is efficient (<3 GB RAM, <5 GB VRAM, <2 hours training, ~35 FPS) and supports rendering useful arbitrary output variables including depth, lighting intensity, lighting color, and unlit renders.
• Abstract（参考訳）: 仮想プロダクション(VP)は、背景画像と画像ベースの照明の両方を提供するためにLED壁を使用する。 これはオンセットの合成を可能にするが、照明を背景とシーンの外観に結合し、下流の編集の柔軟性を制限する。 さらに、逆レンダリングは従来、環境マップを用いて3次元幾何学と照明を推定するために物理ベースのレンダリングに依存していた。 しかし、これらの地図は通常低解像度であり、遠距離照明を前提としている。 VPでは、近距離場と高解像度の画像ベースの照明により、不正確になり、編集時に複雑になる可能性がある。 そこで我々は,ガウススプラッティングを用いた3次元再構成とリライティングのためのVP特化フレームワークを提案する。 これは、既知の背景画像を使用して、リライト処理を条件付ける。 これにより、環境マップへの依存を回避し、バックグラウンドイメージ編集タスクへのコンポジションを減らすことができる。 フレームワークを実現するために,背景内容や照明条件の異なる実際のVPシーンをキャプチャするプロセス(および関連するデータセット)を導入する。 このデータは、3Dシーンを固定された外観と可変照明部品に分解するために使用される。 可変照明工程は、各プリミティブをUV座標、強度値、解像度変調器でパラメータ化することにより光輸送をシミュレートする。 mipmapを使って、画像空間の背景テクスチャを直接サンプリングする。 固定外見成分と組み合わせることで,ガウス版ラスタライザを用いて,忠実なシーンを描画することができる。 本手法はベースラインと比較して高品質な3次元再構成と制御可能なリライトを実現する。 この方法は効率が良い(<3 GB RAM, <5 GB VRAM, <2 時間トレーニング, ~35 FPS)。

関連論文リスト

• ComGS: Efficient 3D Object-Scene Composition via Surface Octahedral Probes [46.83857963152283]
  Gaussian Splatting (GS)は没入型レンダリングを可能にするが、現実的な3Dオブジェクトシーンの合成は難しいままである。 我々は,新しい3Dオブジェクトシーン合成フレームワークであるComGSを提案する。 提案手法は,28FPS程度の高画質リアルタイムレンダリングを実現し,鮮明な影で視覚的に調和し,編集に36秒しか必要としない。
  論文  参考訳（メタデータ） (2025-10-09T03:10:41Z)
• 3D Gaussian Inverse Rendering with Approximated Global Illumination [15.899514468603627]
  スクリーン空間線トレーシングによる3次元ガウシアンスプラッティングの効率的な大域的照明を可能にする新しい手法を提案する。 私たちの重要な洞察は、相当量の間接的な光を現在の視界のフラストタルから見える表面まで遡ることができるということです。 実験では,画面空間の近似により間接照明が可能となり,リアルタイムのレンダリングと編集が可能であることを示す。
  論文  参考訳（メタデータ） (2025-04-02T05:02:25Z)
• EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
  実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。 3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。 本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
  論文  参考訳（メタデータ） (2024-10-02T17:59:09Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• Physically-Based Editing of Indoor Scene Lighting from a Single Image [106.60252793395104]
  本研究では,1つの画像から複雑な室内照明を推定深度と光源セグメンテーションマスクで編集する手法を提案する。 1)シーン反射率とパラメトリックな3D照明を推定する全体的シーン再構成法,2)予測からシーンを再レンダリングするニューラルレンダリングフレームワーク,である。
  論文  参考訳（メタデータ） (2022-05-19T06:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。