論文の概要: Voxel-Mesh Hybrid Representation for Real-Time View Synthesis

• arxiv url: http://arxiv.org/abs/2403.06505v2
• Date: Wed, 20 Nov 2024 08:11:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:10:43.098510
• Title: Voxel-Mesh Hybrid Representation for Real-Time View Synthesis
• Title（参考訳）: リアルタイムビュー合成のためのVoxel-Meshハイブリッド表現
• Authors: Chenhao Zhang, Yongyang Zhou, Lei Zhang,
• Abstract要約: 本稿では、ビュー合成のためのハイブリッドレンダリングにおいて、ボクセルとメッシュの両方のコンポーネントをシームレスに組み合わせたVoshというハイブリッド表現を提案する。 Voshはメッシュコンポーネントを通じて単純な幾何学とテクスチャを備えた高速なレンダリングシーンに優れており、同時にvoxelコンポーネントを活用することで複雑な領域における高品質なレンダリングを可能にしている。 Voshの柔軟性は、ハイブリッド比を調整する機能によって示され、フレキシブルな使用量に基づいて、レンダリング品質とスピードのバランスを制御できるようになる。
• 参考スコア（独自算出の注目度）: 5.528874948395173
• License:
• Abstract: The neural radiance fields (NeRF) have emerged as a prominent methodology for synthesizing realistic images of novel views. While neural radiance representations based on voxels or mesh individually offer distinct advantages, excelling in either rendering quality or speed, each has limitations in the other aspect. In response, we propose a hybrid representation named Vosh, seamlessly combining both voxel and mesh components in hybrid rendering for view synthesis. Vosh is meticulously crafted by optimizing the voxel grid based on neural rendering, strategically meshing a portion of the volumetric density field to surface. Therefore, it excels in fast rendering scenes with simple geometry and textures through its mesh component, while simultaneously enabling high-quality rendering in intricate regions by leveraging voxel component. The flexibility of Vosh is showcased through the ability to adjust hybrid ratios, providing users the ability to control the balance between rendering quality and speed based on flexible usage. Experimental results demonstrate that our method achieves commendable trade-off between rendering quality and speed, and notably has real-time performance on mobile devices. The interactive web demo and code are available at https://zyyzyy06.github.io/Vosh.
• Abstract（参考訳）: ニューラル・ラディアンス・フィールド(NeRF)は、新しい視点の現実的なイメージを合成するための顕著な方法論として登場した。 ボクセルやメッシュに基づくニューラルラディアンス表現は、それぞれ異なる利点があり、レンダリング品質または速度に優れるが、それぞれが他の面に制限がある。 これに対し、ビュー合成のためのハイブリッドレンダリングにおいて、ボクセルとメッシュの両方のコンポーネントをシームレスに組み合わせたVoshというハイブリッド表現を提案する。 Voshは、ニューラルネットワークのレンダリングに基づいてボクセルグリッドを最適化し、体積密度場の一部を表面へ戦略的にメッシュ化する。 したがって、簡単な幾何学やテクスチャをメッシュコンポーネントを通じて高速なレンダリングシーンに優れ、同時にボクセル成分を活用して複雑な領域における高品質なレンダリングを可能にする。 Voshの柔軟性は、ハイブリッド比を調整する能力によって示され、ユーザはフレキシブルな使用量に基づいて、レンダリング品質とスピードのバランスを制御できる。 実験結果から,本手法はレンダリング品質と速度のトレードオフを実現し,モバイルデバイス上でのリアルタイム性能が顕著であることがわかった。 インタラクティブなWebデモとコードはhttps://zyyzyy06.github.io/Vosh.comで公開されている。

関連論文リスト

• UniVoxel: Fast Inverse Rendering by Unified Voxelization of Scene Representation [66.95976870627064]
  We design a Unified Voxelization framework for explicit learning of scene representations, called UniVoxel。 そこで本研究では,シーンの形状,材料,照明を軽量ニューラルネットワークで容易に学習できるため,シーンを潜在容積表現に符号化することを提案する。 実験の結果、UniVoxelは他の方法と比較して最適化効率を著しく向上させ、シーンごとのトレーニング時間を数時間から18分に短縮し、良好な再現性を実現した。
  論文  参考訳（メタデータ） (2024-07-28T17:24:14Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [51.49008959209671]
  本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。 我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。 我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-09T11:32:49Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis [42.93055827628597]
  本稿では,フォトリアリスティックな新規ビュー合成に適した大規模現実世界シーンの高品質メッシュを再構築する手法を提案する。 我々はまず,シーンの表面に対応する良好なレベルセットを持つように設計された,ハイブリッドなニューラルボリューム・サーフェス・シーン表現を最適化する。 そして、この表現を高品質な三角形メッシュに焼き込み、球面ガウスに基づく、シンプルで高速なビュー依存の外観モデルと組み合わせる。
  論文  参考訳（メタデータ） (2023-02-28T18:58:03Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)
• Direct Voxel Grid Optimization: Super-fast Convergence for Radiance Fields Reconstruction [42.3230709881297]
  画像の集合からシーンごとの放射界を再構成する超高速収束手法を提案する。 提案手法はNeRFに比較可能な品質を実現し,1つのGPUで15分以内でスクラッチから急速に収束する。
  論文  参考訳（メタデータ） (2021-11-22T14:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。