論文の概要: Vosh: Voxel-Mesh Hybrid Representation for Real-Time View Synthesis
- arxiv url: http://arxiv.org/abs/2403.06505v1
- Date: Mon, 11 Mar 2024 08:28:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 19:52:04.591037
- Title: Vosh: Voxel-Mesh Hybrid Representation for Real-Time View Synthesis
- Title（参考訳）: Vosh: リアルタイムビュー合成のためのVoxel-Meshハイブリッド表現
- Authors: Chenhao Zhang, Yongyang Zhou, Lei Zhang
- Abstract要約: 本稿では、ビュー合成のためのハイブリッドレンダリングにおいて、ボクセルとメッシュの両方のコンポーネントをシームレスに組み合わせたVoshというハイブリッド表現を提案する。
Voshはメッシュコンポーネントを通じて単純な幾何学とテクスチャを備えた高速なレンダリングシーンに優れており、同時にvoxelコンポーネントを活用することで複雑な領域における高品質なレンダリングを可能にしている。
- 参考スコア（独自算出の注目度）: 6.213901366509739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The neural radiance field (NeRF) has emerged as a prominent methodology for
synthesizing realistic images of novel views. While neural radiance
representations based on voxels or mesh individually offer distinct advantages,
excelling in either rendering quality or speed, each has limitations in the
other aspect. In response, we propose a pioneering hybrid representation named
Vosh, seamlessly combining both voxel and mesh components in hybrid rendering
for view synthesis. Vosh is meticulously crafted by optimizing the voxel grid
of NeRF, strategically with selected voxels replaced by mesh. Therefore, it
excels in fast rendering scenes with simple geometry and textures through its
mesh component, while simultaneously enabling high-quality rendering in
intricate regions by leveraging voxel component. The flexibility of Vosh is
showcased through the ability to adjust hybrid ratios, providing users the
ability to control the balance between rendering quality and speed based on
flexible usage. Experimental results demonstrates that our method achieves
commendable trade-off between rendering quality and speed, and notably has
real-time performance on mobile devices.
- Abstract（参考訳）: ニューラル・ラディアンス・フィールド(NeRF)は、新しい視点の現実的なイメージを合成するための顕著な方法論として登場した。
ボクセルやメッシュに基づくニューラルラディアンス表現は、それぞれ異なる利点があり、レンダリング品質または速度に優れるが、それぞれが他の面に制限がある。
そこで我々は,ビュー合成のためのハイブリッドレンダリングにおいて,ボクセルとメッシュをシームレスに組み合わせたVoshというハイブリッド表現を提案する。
VoshはNeRFのボクセルグリッドを最適化し、メッシュに置き換えた選択されたボクセルを戦略的に設計する。
したがって、単純な幾何学やテクスチャをメッシュコンポーネントを通じて高速にレンダリングできると同時に、voxelコンポーネントを利用して複雑な領域で高品質なレンダリングを可能にする。
voshの柔軟性は、ハイブリッド比を調整する機能によって示され、ユーザーはフレキシブルな使用法に基づいてレンダリング品質と速度のバランスを制御することができる。
実験結果から,本手法はレンダリング品質と速度のトレードオフを実現し,モバイルデバイス上でのリアルタイム性能が顕著であることがわかった。
関連論文リスト
- UniVoxel: Fast Inverse Rendering by Unified Voxelization of Scene Representation [66.95976870627064]
We design a Unified Voxelization framework for explicit learning of scene representations, called UniVoxel。
そこで本研究では,シーンの形状,材料,照明を軽量ニューラルネットワークで容易に学習できるため,シーンを潜在容積表現に符号化することを提案する。
実験の結果、UniVoxelは他の方法と比較して最適化効率を著しく向上させ、シーンごとのトレーニング時間を数時間から18分に短縮し、良好な再現性を実現した。
論文 参考訳（メタデータ） (2024-07-28T17:24:14Z) - NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。
我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。
このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
論文 参考訳（メタデータ） (2024-05-23T17:59:57Z) - HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。
本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。
仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
論文 参考訳（メタデータ） (2023-12-05T22:04:49Z) - VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for
Enhanced Indoor View Synthesis [51.49008959209671]
本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。
我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。
我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-11-09T11:32:49Z) - VMesh: Hybrid Volume-Mesh Representation for Efficient View Synthesis [31.52438192597056]
本稿では,補助的なスパースボリュームとともに,テクスチャ化されたメッシュを持つオブジェクトを表現した,ハイブリッドなボリューム・メシュ表現VMeshを提案する。
VMeshはオブジェクトのマルチビューイメージから取得でき、2K 60FPSで高忠実度な一般消費者デバイスにレンダリングする。
論文 参考訳（メタデータ） (2023-03-28T17:49:42Z) - BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis [42.93055827628597]
本稿では,フォトリアリスティックな新規ビュー合成に適した大規模現実世界シーンの高品質メッシュを再構築する手法を提案する。
我々はまず,シーンの表面に対応する良好なレベルセットを持つように設計された,ハイブリッドなニューラルボリューム・サーフェス・シーン表現を最適化する。
そして、この表現を高品質な三角形メッシュに焼き込み、球面ガウスに基づく、シンプルで高速なビュー依存の外観モデルと組み合わせる。
論文 参考訳（メタデータ） (2023-02-28T18:58:03Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳（メタデータ） (2022-05-30T17:47:31Z) - Neural Sparse Voxel Fields [151.20366604586403]
高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。
NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。
提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
論文 参考訳（メタデータ） (2020-07-22T17:51:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。