論文の概要: UniVoxel: Fast Inverse Rendering by Unified Voxelization of Scene Representation

• arxiv url: http://arxiv.org/abs/2407.19542v1
• Date: Sun, 28 Jul 2024 17:24:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 17:42:21.019803
• Title: UniVoxel: Fast Inverse Rendering by Unified Voxelization of Scene Representation
• Title（参考訳）: UniVoxel: シーン表現の統一ボクセル化による高速逆レンダリング
• Authors: Shuang Wu, Songlin Tang, Guangming Lu, Jianzhuang Liu, Wenjie Pei,
• Abstract要約: We design a Unified Voxelization framework for explicit learning of scene representations, called UniVoxel。 そこで本研究では,シーンの形状,材料,照明を軽量ニューラルネットワークで容易に学習できるため,シーンを潜在容積表現に符号化することを提案する。 実験の結果、UniVoxelは他の方法と比較して最適化効率を著しく向上させ、シーンごとのトレーニング時間を数時間から18分に短縮し、良好な再現性を実現した。
• 参考スコア（独自算出の注目度）: 66.95976870627064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Typical inverse rendering methods focus on learning implicit neural scene representations by modeling the geometry, materials and illumination separately, which entails significant computations for optimization. In this work we design a Unified Voxelization framework for explicit learning of scene representations, dubbed UniVoxel, which allows for efficient modeling of the geometry, materials and illumination jointly, thereby accelerating the inverse rendering significantly. To be specific, we propose to encode a scene into a latent volumetric representation, based on which the geometry, materials and illumination can be readily learned via lightweight neural networks in a unified manner. Particularly, an essential design of UniVoxel is that we leverage local Spherical Gaussians to represent the incident light radiance, which enables the seamless integration of modeling illumination into the unified voxelization framework. Such novel design enables our UniVoxel to model the joint effects of direct lighting, indirect lighting and light visibility efficiently without expensive multi-bounce ray tracing. Extensive experiments on multiple benchmarks covering diverse scenes demonstrate that UniVoxel boosts the optimization efficiency significantly compared to other methods, reducing the per-scene training time from hours to 18 minutes, while achieving favorable reconstruction quality. Code is available at https://github.com/freemantom/UniVoxel.
• Abstract（参考訳）: 典型的な逆レンダリング手法は、幾何学、材料、照明を別々にモデル化することで暗黙のニューラルシーン表現を学習することに焦点を当てており、最適化には重要な計算が必要である。 本研究は,UniVoxelと呼ばれるシーン表現の明示的な学習のための統一ボクセル化フレームワークを設計し,幾何学,材料,照明のモデリングを共同で行うことにより,逆レンダリングを大幅に高速化する。 そこで本研究では,画像の形状,材料,照明が,軽量ニューラルネットワークを介して一元的に学習できるため,シーンを潜在容積表現に符号化することを提案する。 特に、UniVoxelの本質的な設計は、局所球状ガウスを利用して入射光放射を表現し、統一されたボキセル化フレームワークへのモデリング照明のシームレスな統合を可能にすることである。 このような斬新な設計により、UniVoxelは、高価なマルチバウンス線トレーシングを使わずに、直接照明、間接照明、および光の可視性を効率的にモデル化することができる。 多様なシーンをカバーする複数のベンチマーク実験により、UniVoxelは他の手法と比較して最適化効率が大幅に向上し、シーンごとのトレーニング時間を数時間から18分に短縮し、良好な再構築品質を実現した。 コードはhttps://github.com/freemantom/UniVoxel.comで入手できる。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• Anisotropic Neural Representation Learning for High-Quality Neural Rendering [0.0]
  本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。 我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
  論文  参考訳（メタデータ） (2023-11-30T07:29:30Z)
• VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [73.50359502037232]
  VoxNeRFは、ニューラル室内再構成と新しいビュー合成の質と効率を高めるための新しいアプローチである。 本稿では,最も関連性の高い領域に計算資源を割り当てる効率的なボクセル誘導サンプリング手法を提案する。 私たちのアプローチは、ScanNetとScanNet++に関する広範な実験で検証されています。
  論文  参考訳（メタデータ） (2023-11-09T11:32:49Z)
• NeAI: A Pre-convoluted Representation for Plug-and-Play Neural Ambient Illumination [28.433403714053103]
  ニューラル環境照明(NeAI)という枠組みを提案する。 NeAIは、物理的な方法で複雑な照明を扱うための照明モデルとしてNeRF(Neural Radiance Fields)を使用している。 実験は、以前の作品と比較して、ノベルビューレンダリングの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-04-18T06:32:30Z)
• Physics-based Indirect Illumination for Inverse Rendering [70.27534648770057]
  本稿では,複数視点のRGB画像からシーンの照明,幾何学,材料を学習する物理ベースの逆レンダリング手法を提案する。 副産物として、我々の物理ベースの逆レンダリングモデルは、フレキシブルでリアルな素材編集やリライティングを容易にする。
  論文  参考訳（メタデータ） (2022-12-09T07:33:49Z)
• Multi-view Inverse Rendering for Large-scale Real-world Indoor Scenes [5.9870673031762545]
  本研究では,大規模屋内シーンを対象とした多視点逆レンダリング手法を提案する。 提案手法は, 最先端の定量的, 定性的に性能を向上する。 物質編集、編集可能な新規ビュー合成、リライトなど、物理的に理にかなった混合現実のアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-11-18T12:53:10Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。