論文の概要: BEAM: Bridging Physically-based Rendering and Gaussian Modeling for Relightable Volumetric Video

• arxiv url: http://arxiv.org/abs/2502.08297v1
• Date: Wed, 12 Feb 2025 10:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:45:24.124007
• Title: BEAM: Bridging Physically-based Rendering and Gaussian Modeling for Relightable Volumetric Video
• Title（参考訳）: BEAM:再生可能なボリュームビデオのための物理的レンダリングとガウスモデリング
• Authors: Yu Hong, Yize Wu, Zhehao Shen, Chengcheng Guo, Yuheng Jiang, Yingliang Zhang, Jingyi Yu, Lan Xu,
• Abstract要約: ボリュームビデオは、ダイナミックな3Dシーンをキャプチャして没入感のある体験を可能にし、仮想現実、教育、テレプレゼンスのための多様なアプリケーションを可能にする。 BEAMは、4Dガウス表現を物理ベースレンダリング(PBR)でブリッジし、高品質でライティング可能なビデオを生成する新しいパイプラインである。
• 参考スコア（独自算出の注目度）: 44.50599475213118
• License:
• Abstract: Volumetric video enables immersive experiences by capturing dynamic 3D scenes, enabling diverse applications for virtual reality, education, and telepresence. However, traditional methods struggle with fixed lighting conditions, while neural approaches face trade-offs in efficiency, quality, or adaptability for relightable scenarios. To address these limitations, we present BEAM, a novel pipeline that bridges 4D Gaussian representations with physically-based rendering (PBR) to produce high-quality, relightable volumetric videos from multi-view RGB footage. BEAM recovers detailed geometry and PBR properties via a series of available Gaussian-based techniques. It first combines Gaussian-based performance tracking with geometry-aware rasterization in a coarse-to-fine optimization framework to recover spatially and temporally consistent geometries. We further enhance Gaussian attributes by incorporating PBR properties step by step. We generate roughness via a multi-view-conditioned diffusion model, and then derive AO and base color using a 2D-to-3D strategy, incorporating a tailored Gaussian-based ray tracer for efficient visibility computation. Once recovered, these dynamic, relightable assets integrate seamlessly into traditional CG pipelines, supporting real-time rendering with deferred shading and offline rendering with ray tracing. By offering realistic, lifelike visualizations under diverse lighting conditions, BEAM opens new possibilities for interactive entertainment, storytelling, and creative visualization.
• Abstract（参考訳）: ボリュームビデオは、ダイナミックな3Dシーンをキャプチャして没入感のある体験を可能にし、仮想現実、教育、テレプレゼンスのための多様なアプリケーションを可能にする。 しかし、従来の手法は固定された照明条件に苦しむ一方、ニューラルアプローチは、再現性のあるシナリオに対する効率性、品質、適応性のトレードオフに直面している。 これらの制約に対処するため、BEAMは、4Dガウス表現を物理ベースレンダリング(PBR)でブリッジし、マルチビューRGB映像から高品質で再生可能なボリュームビデオを生成する新しいパイプラインである。 BEAMはガウスに基づく一連の技術を用いて詳細な幾何学とPBR特性を復元する。 まず、空間的・時間的に一貫したジオメトリを復元する粗大な最適化フレームワークにおいて、ガウスに基づくパフォーマンストラッキングと幾何認識ラスタ化を組み合わせる。 PBR特性を段階的に取り入れることでガウス特性をさらに強化する。 我々は多視点拡散モデルを用いて粗さを生成し、2D-to-3D戦略を用いてAOとベースカラーを導出し、効率的な可視性計算にガウス線トレーサを組み込んだ。 回復すると、これらの動的で再生可能なアセットは従来のCGパイプラインにシームレスに統合され、遅延シェーディングによるリアルタイムレンダリングとレイトレースによるオフラインレンダリングをサポートする。 BEAMは、様々な照明条件下で現実的な人生のような可視化を提供することで、インタラクティブなエンターテイメント、ストーリーテリング、クリエイティブな可視化の新しい可能性を開く。

関連論文リスト

• 3D Gaussian Splatting with Normal Information for Mesh Extraction and Improved Rendering [8.59572577251833]
  ガウス関数から推定される符号距離関数の勾配を用いた新しい正規化法を提案する。 我々は、Mip-NeRF360、Tamps and Temples、Deep-Blendingなどのデータセットに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2025-01-14T18:40:33Z)
• GUS-IR: Gaussian Splatting with Unified Shading for Inverse Rendering [83.69136534797686]
  GUS-IRは、粗く光沢のある表面を特徴とする複雑なシーンの逆レンダリング問題に対処するために設計された新しいフレームワークである。 本稿では、逆レンダリング、フォワードシェーディング、遅延シェーディングに広く使われている2つの顕著なシェーディング技術を分析し、比較することから始める。 両手法の利点を組み合わせた統合シェーディングソリューションを提案する。
  論文  参考訳（メタデータ） (2024-11-12T01:51:05Z)
• BiGS: Bidirectional Gaussian Primitives for Relightable 3D Gaussian Splatting [10.918133974256913]
  本稿では、画像に基づく新規ビュー合成技術である双方向ガウスプリミティブについて述べる。 提案手法はガウススプラッティングフレームワークに光の内在分解を取り入れ,3次元物体のリアルタイムリライティングを可能にする。
  論文  参考訳（メタデータ） (2024-08-23T21:04:40Z)
• DeferredGS: Decoupled and Editable Gaussian Splatting with Deferred Shading [50.331929164207324]
  我々は,遅延シェーディングを用いたガウススプレイティング表現のデカップリングと編集を行うDedeerredGSを紹介する。 定性的かつ定量的な実験は、新しいビューおよび編集タスクにおけるDederredGSの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-15T01:58:54Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。