論文の概要: Re-ReND: Real-time Rendering of NeRFs across Devices

• arxiv url: http://arxiv.org/abs/2303.08717v1
• Date: Wed, 15 Mar 2023 15:59:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 13:14:17.205980
• Title: Re-ReND: Real-time Rendering of NeRFs across Devices
• Title（参考訳）: Re-ReND:デバイス間のNeRFのリアルタイムレンダリング
• Authors: Sara Rojas, Jesus Zarzar, Juan Camilo Perez, Artsiom Sanakoyeu, Ali Thabet, Albert Pumarola, and Bernard Ghanem
• Abstract要約: Re-ReNDは、NeRFを標準グラフィックスパイプラインで効率的に処理できる表現に変換することで、リアルタイムのパフォーマンスを実現するように設計されている。 Re-ReNDはレンダリング速度が2.6倍に向上し、最先端技術では品質が損なわれることなく達成できることがわかった。
• 参考スコア（独自算出の注目度）: 56.081995086924216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel approach for rendering a pre-trained Neural Radiance Field (NeRF) in real-time on resource-constrained devices. We introduce Re-ReND, a method enabling Real-time Rendering of NeRFs across Devices. Re-ReND is designed to achieve real-time performance by converting the NeRF into a representation that can be efficiently processed by standard graphics pipelines. The proposed method distills the NeRF by extracting the learned density into a mesh, while the learned color information is factorized into a set of matrices that represent the scene's light field. Factorization implies the field is queried via inexpensive MLP-free matrix multiplications, while using a light field allows rendering a pixel by querying the field a single time-as opposed to hundreds of queries when employing a radiance field. Since the proposed representation can be implemented using a fragment shader, it can be directly integrated with standard rasterization frameworks. Our flexible implementation can render a NeRF in real-time with low memory requirements and on a wide range of resource-constrained devices, including mobiles and AR/VR headsets. Notably, we find that Re-ReND can achieve over a 2.6-fold increase in rendering speed versus the state-of-the-art without perceptible losses in quality.
• Abstract（参考訳）: 本稿では,リソース制約のあるデバイス上で,予め訓練したニューラルレージアンスフィールド(NeRF)をリアルタイムにレンダリングするための新しい手法を提案する。 本稿では,デバイス間のNeRFのリアルタイムレンダリングを可能にするRe-ReNDを提案する。 Re-ReNDは、NeRFを標準グラフィックスパイプラインで効率的に処理できる表現に変換することで、リアルタイムのパフォーマンスを実現するように設計されている。 提案手法は,学習した密度をメッシュに抽出してNeRFを蒸留し,学習した色情報をシーンの光場を表す行列に分解する。 因子化は、フィールドが安価なMLPのない行列乗法によってクエリされることを意味し、一方、光フィールドを使うことで、照度場を使用する場合、数百のクエリに対して、フィールドを単一の時間でクエリすることでピクセルをレンダリングすることができる。 提案した表現はフラグメントシェーダを使って実装できるため、標準的なラスタライズフレームワークと直接統合することができる。 当社のフレキシブルな実装は、NeRFを低メモリでリアルタイムにレンダリングすることができ、モバイルやAR/VRヘッドセットなど、幅広いリソース制約のあるデバイス上で使用することができます。 特筆すべきは、re-rendは品質の低下を知覚することなく、レンダリング速度を2.6倍以上向上できることだ。

関連論文リスト

• GMT: Enhancing Generalizable Neural Rendering via Geometry-Driven Multi-Reference Texture Transfer [40.70828307740121]
  新たなビュー合成(NVS)は、多視点画像を用いて任意の視点で画像を生成することを目的としており、ニューラルレイディアンス場(NeRF)からの最近の知見は、顕著な改善に寄与している。 G-NeRFはシーンごとの最適化がないため、特定のシーンの細部を表現するのに依然として苦労している。 G-NeRF用に設計されたプラグアンドプレイモジュールとして利用可能な幾何駆動型マルチ参照テクスチャ転送ネットワーク(GMT)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:30:51Z)
• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• MixRT: Mixed Neural Representations For Real-Time NeRF Rendering [24.040636076067393]
  我々は、低品質メッシュ、ビュー依存変位マップ、圧縮されたNeRFモデルを含む新しいNeRF表現であるMixRTを提案する。 この設計は、既存のグラフィックスハードウェアの能力を効果的に活用し、エッジデバイス上でリアルタイムのNeRFレンダリングを可能にする。
  論文  参考訳（メタデータ） (2023-12-19T04:14:11Z)
• Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
  我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。 我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。 実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T02:23:28Z)
• Learning Neural Duplex Radiance Fields for Real-Time View Synthesis [33.54507228895688]
  本研究では,NeRFを高効率メッシュベースニューラル表現に蒸留・焼成する手法を提案する。 提案手法の有効性と優位性を,各種標準データセットの広範な実験を通じて実証する。
  論文  参考訳（メタデータ） (2023-04-20T17:59:52Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• NeRF-SR: High-Quality Neural Radiance Fields using Super-Sampling [82.99453001445478]
  主に低分解能(LR)入力を用いた高分解能(HR)新規ビュー合成のソリューションであるNeRF-SRを提案する。 提案手法は,多層パーセプトロンを用いて各点密度と色を予測するニューラルレージアンス場(NeRF)上に構築されている。
  論文  参考訳（メタデータ） (2021-12-03T07:33:47Z)
• Learning Neural Light Fields with Ray-Space Embedding Networks [51.88457861982689]
  我々は、コンパクトで、光線に沿った統合放射率を直接予測する新しいニューラル光場表現を提案する。 提案手法は,Stanford Light Field データセットのような,高密度の前方向きデータセットの最先端品質を実現する。
  論文  参考訳（メタデータ） (2021-12-02T18:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。