論文の概要: SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration

• arxiv url: http://arxiv.org/abs/2312.07541v1
• Date: Tue, 12 Dec 2023 18:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 14:42:59.894061
• Title: SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration
• Title（参考訳）: smerf:リアルタイム大規模探索のための効率的なラミアンスフィールド
• Authors: Daniel Duckworth, Peter Hedman, Christian Reiser, Peter Zhizhin, Jean-Fran\c{c}ois Thibert, Mario Lu\v{c}i\'c, Richard Szeliski, Jonathan T. Barron
• Abstract要約: 本研究では,大規模シーンにおけるリアルタイム手法間の最先端の精度を実現するビュー合成手法であるSMERFを紹介する。 弊社のアプローチは、Webブラウザ内で6自由度(6DOF)を実現し、コモディティスマートフォンやラップトップ上でリアルタイムにレンダリングする。
• 参考スコア（独自算出の注目度）: 34.41030761929149
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent techniques for real-time view synthesis have rapidly advanced in fidelity and speed, and modern methods are capable of rendering near-photorealistic scenes at interactive frame rates. At the same time, a tension has arisen between explicit scene representations amenable to rasterization and neural fields built on ray marching, with state-of-the-art instances of the latter surpassing the former in quality while being prohibitively expensive for real-time applications. In this work, we introduce SMERF, a view synthesis approach that achieves state-of-the-art accuracy among real-time methods on large scenes with footprints up to 300 m$^2$ at a volumetric resolution of 3.5 mm$^3$. Our method is built upon two primary contributions: a hierarchical model partitioning scheme, which increases model capacity while constraining compute and memory consumption, and a distillation training strategy that simultaneously yields high fidelity and internal consistency. Our approach enables full six degrees of freedom (6DOF) navigation within a web browser and renders in real-time on commodity smartphones and laptops. Extensive experiments show that our method exceeds the current state-of-the-art in real-time novel view synthesis by 0.78 dB on standard benchmarks and 1.78 dB on large scenes, renders frames three orders of magnitude faster than state-of-the-art radiance field models, and achieves real-time performance across a wide variety of commodity devices, including smartphones. We encourage the reader to explore these models in person at our project website: https://smerf-3d.github.io.
• Abstract（参考訳）: 近年のリアルタイムビュー合成技術は, 忠実度と速度が急速に向上し, インタラクティブなフレームレートで近光写実的シーンをレンダリングすることができる。 同時に、ラスタ化に寄与する明示的なシーン表現と、レイマーチング上に構築されたニューラルフィールドとの間に緊張が生じ、後者の最先端のインスタンスは、リアルタイムアプリケーションでは違法に高価であると同時に、前者の品質を上回っている。 本研究では,最大300 m$^2$ 3.5 mm$^3$ の体積分解能で,大規模シーンにおけるリアルタイム手法の最先端精度を実現するビュー合成手法であるsmerfを提案する。 本手法は,計算量とメモリ消費を制約しながらモデル容量を増加させる階層的モデル分割方式と,高忠実度と内部整合性を同時に生成する蒸留訓練戦略の2つの主要な貢献に基づいて構築されている。 当社のアプローチは,Webブラウザ内での6自由度ナビゲーションを可能にし,コモディティスマートフォンやラップトップ上でリアルタイムにレンダリングする。 大規模実験により,本手法は,標準ベンチマークで0.78db,大シーンで1.78db,最先端のラミアンスフィールドモデルより3桁早くフレームを描画し,スマートフォンを含む多種多様なコモディティデバイスでリアルタイム性能を実現する。 プロジェクトのWebサイトでは,これらのモデルを実際に調査することを推奨しています。

関連論文リスト

• RadSplat: Radiance Field-Informed Gaussian Splatting for Robust Real-Time Rendering with 900+ FPS [47.47003067842151]
  本稿では,複雑なシーンをリアルタイムにレンダリングする軽量なRadSplatを提案する。 まず, 優先信号として放射場を用い, 点ベースシーン表現の最適化を行い, 品質の向上とロバストな最適化を実現した。 次に,高い品質を維持しつつ全体の点数を削減し,より高速な推論速度でより小型でコンパクトなシーン表現を実現する新しいプルーニング手法を開発した。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• HybridNeRF: Efficient Neural Rendering via Adaptive Volumetric Surfaces [71.1071688018433]
  ニューラル放射場は、最先端のビュー合成品質を提供するが、レンダリングが遅くなる傾向がある。 本稿では,ほとんどの物体を表面としてレンダリングすることで,両表現の強みを生かしたHybridNeRFを提案する。 仮想現実分解能(2Kx2K)のリアルタイムフレームレート(少なくとも36FPS)を達成しながら、エラー率を15～30%改善する。
  論文  参考訳（メタデータ） (2023-12-05T22:04:49Z)
• EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction on Mobile Devices [53.28220984270622]
  モバイル端末に暗黙的テクスチャを付加したtextbfSurf$ace 再構成手法を提案する。 提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。 我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
  論文  参考訳（メタデータ） (2023-11-16T11:30:56Z)
• VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for Enhanced Indoor View Synthesis [51.49008959209671]
  本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。 我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。 我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-09T11:32:49Z)
• 3D Gaussian Splatting for Real-Time Radiance Field Rendering [4.320393382724066]
  競争力のあるトレーニング時間を維持しながら、最先端の視覚的品質を達成するための3つの重要な要素を紹介します。 いくつかの確立したデータセット上で、最先端の視覚的品質とリアルタイムレンダリングを実証する。
  論文  参考訳（メタデータ） (2023-08-08T06:37:06Z)
• Real-time volumetric rendering of dynamic humans [83.08068677139822]
  本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。 提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。 新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
  論文  参考訳（メタデータ） (2023-03-21T14:41:25Z)
• Fast Non-Rigid Radiance Fields from Monocularized Data [66.74229489512683]
  本稿では,不規則に変形するシーンを360度内向きに合成する新しい手法を提案する。 提案手法のコアとなるのは, 空間情報と時間情報の処理を分離し, 訓練と推論を高速化する効率的な変形モジュール, 2) 高速ハッシュ符号化ニューラルラジオアンスフィールドとしての標準シーンを表す静的モジュールである。 どちらの場合も,本手法は従来の手法よりもはるかに高速で,7分未満で収束し,1K解像度でリアルタイムのフレームレートを実現するとともに,生成した新規なビューに対して高い視覚的精度が得られる。
  論文  参考訳（メタデータ） (2022-12-02T18:51:10Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。