論文の概要: Re-ReND: Real-time Rendering of NeRFs across Devices

• arxiv url: http://arxiv.org/abs/2303.08717v1
• Date: Wed, 15 Mar 2023 15:59:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 13:14:17.205980
• Title: Re-ReND: Real-time Rendering of NeRFs across Devices
• Title（参考訳）: Re-ReND:デバイス間のNeRFのリアルタイムレンダリング
• Authors: Sara Rojas, Jesus Zarzar, Juan Camilo Perez, Artsiom Sanakoyeu, Ali Thabet, Albert Pumarola, and Bernard Ghanem
• Abstract要約: Re-ReNDは、NeRFを標準グラフィックスパイプラインで効率的に処理できる表現に変換することで、リアルタイムのパフォーマンスを実現するように設計されている。 Re-ReNDはレンダリング速度が2.6倍に向上し、最先端技術では品質が損なわれることなく達成できることがわかった。
• 参考スコア（独自算出の注目度）: 56.081995086924216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel approach for rendering a pre-trained Neural Radiance Field (NeRF) in real-time on resource-constrained devices. We introduce Re-ReND, a method enabling Real-time Rendering of NeRFs across Devices. Re-ReND is designed to achieve real-time performance by converting the NeRF into a representation that can be efficiently processed by standard graphics pipelines. The proposed method distills the NeRF by extracting the learned density into a mesh, while the learned color information is factorized into a set of matrices that represent the scene's light field. Factorization implies the field is queried via inexpensive MLP-free matrix multiplications, while using a light field allows rendering a pixel by querying the field a single time-as opposed to hundreds of queries when employing a radiance field. Since the proposed representation can be implemented using a fragment shader, it can be directly integrated with standard rasterization frameworks. Our flexible implementation can render a NeRF in real-time with low memory requirements and on a wide range of resource-constrained devices, including mobiles and AR/VR headsets. Notably, we find that Re-ReND can achieve over a 2.6-fold increase in rendering speed versus the state-of-the-art without perceptible losses in quality.
• Abstract（参考訳）: 本稿では,リソース制約のあるデバイス上で,予め訓練したニューラルレージアンスフィールド(NeRF)をリアルタイムにレンダリングするための新しい手法を提案する。 本稿では,デバイス間のNeRFのリアルタイムレンダリングを可能にするRe-ReNDを提案する。 Re-ReNDは、NeRFを標準グラフィックスパイプラインで効率的に処理できる表現に変換することで、リアルタイムのパフォーマンスを実現するように設計されている。 提案手法は,学習した密度をメッシュに抽出してNeRFを蒸留し,学習した色情報をシーンの光場を表す行列に分解する。 因子化は、フィールドが安価なMLPのない行列乗法によってクエリされることを意味し、一方、光フィールドを使うことで、照度場を使用する場合、数百のクエリに対して、フィールドを単一の時間でクエリすることでピクセルをレンダリングすることができる。 提案した表現はフラグメントシェーダを使って実装できるため、標準的なラスタライズフレームワークと直接統合することができる。 当社のフレキシブルな実装は、NeRFを低メモリでリアルタイムにレンダリングすることができ、モバイルやAR/VRヘッドセットなど、幅広いリソース制約のあるデバイス上で使用することができます。 特筆すべきは、re-rendは品質の低下を知覚することなく、レンダリング速度を2.6倍以上向上できることだ。

関連論文リスト

• SteerNeRF: Accelerating NeRF Rendering via Smooth Viewpoint Trajectory [20.798605661240355]
  本稿では,2次元ニューラルネットワークを用いたレンダリングの高速化手法を提案する。 まず、ボリュームレンダリングにより低解像度の特徴マップを描画し、続いて、軽量な2Dニューラルを適用して、目標解像度で画像を生成する。 提案手法は,メモリオーバーヘッドを少なくしてレンダリング時間を短縮し,メモリフットプリントの少ない1080P画像解像度で30FPSを実現することで,競争力のあるレンダリング品質を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-12-15T00:02:36Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)
• Mip-NeRF: A Multiscale Representation for Anti-Aliasing Neural Radiance Fields [45.84983186882732]
  mip-NeRF"("mipmap")は、NeRFを拡張してシーンを継続的に価値あるスケールで表現します。 mip-NeRFは、光線の代わりにアンチエイリアスコニカルフラストを効率的にレンダリングすることで、不快なエイリアスアーティファクトを低減します。 NeRFと比較して、mip-NeRFはNeRFで提示されたデータセットでは平均エラー率を16%、そのデータセットでは60%削減する。
  論文  参考訳（メタデータ） (2021-03-24T18:02:11Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。