論文の概要: Real-Time Neural Light Field on Mobile Devices

• arxiv url: http://arxiv.org/abs/2212.08057v2
• Date: Sat, 24 Jun 2023 20:48:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 00:09:43.069028
• Title: Real-Time Neural Light Field on Mobile Devices
• Title（参考訳）: モバイルデバイス上のリアルタイムニューラルライトフィールド
• Authors: Junli Cao, Huan Wang, Pavlo Chemerys, Vladislav Shakhrai, Ju Hu, Yun Fu, Denys Makoviichuk, Sergey Tulyakov, Jian Ren
• Abstract要約: 低レイテンシで小さなサイズでモバイルデバイス上で効率的に動作する新しいネットワークアーキテクチャを導入する。 本モデルでは,合成シーンと実世界のシーンの両方において,リアルタイムな推論を維持しながら高分解能な生成を実現する。
• 参考スコア（独自算出の注目度）: 54.44982318758239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent efforts in Neural Rendering Fields (NeRF) have shown impressive results on novel view synthesis by utilizing implicit neural representation to represent 3D scenes. Due to the process of volumetric rendering, the inference speed for NeRF is extremely slow, limiting the application scenarios of utilizing NeRF on resource-constrained hardware, such as mobile devices. Many works have been conducted to reduce the latency of running NeRF models. However, most of them still require high-end GPU for acceleration or extra storage memory, which is all unavailable on mobile devices. Another emerging direction utilizes the neural light field (NeLF) for speedup, as only one forward pass is performed on a ray to predict the pixel color. Nevertheless, to reach a similar rendering quality as NeRF, the network in NeLF is designed with intensive computation, which is not mobile-friendly. In this work, we propose an efficient network that runs in real-time on mobile devices for neural rendering. We follow the setting of NeLF to train our network. Unlike existing works, we introduce a novel network architecture that runs efficiently on mobile devices with low latency and small size, i.e., saving $15\times \sim 24\times$ storage compared with MobileNeRF. Our model achieves high-resolution generation while maintaining real-time inference for both synthetic and real-world scenes on mobile devices, e.g., $18.04$ms (iPhone 13) for rendering one $1008\times756$ image of real 3D scenes. Additionally, we achieve similar image quality as NeRF and better quality than MobileNeRF (PSNR $26.15$ vs. $25.91$ on the real-world forward-facing dataset).
• Abstract（参考訳）: ニューラルレンダリングフィールド(NeRF)の最近の研究は、3Dシーンを表現するために暗黙のニューラル表現を活用することによって、新しいビュー合成に印象的な結果を示している。 ボリュームレンダリングのプロセスのため、NeRFの推論速度は非常に遅く、モバイルデバイスなどのリソース制約のあるハードウェア上でNeRFを利用するアプリケーションのシナリオが制限される。 NeRFモデルの動作遅延を低減するために,多くの研究がなされている。 しかし、アクセラレーションや追加ストレージメモリにはまだハイエンドgpuが必要で、すべてモバイルデバイスでは利用できない。 別の新興方向は、光線上で1つのフォワードパスのみを実行してピクセル色を予測するため、ニューラルライトフィールド(NeLF)をスピードアップに利用する。 それでも、NeRFと同様のレンダリング品質に達するため、NeLFのネットワークはモバイルフレンドリーではない集中型計算で設計されている。 本研究では,ニューラルレンダリングのためにモバイルデバイス上でリアルタイムに動作する効率的なネットワークを提案する。 ネットワークをトレーニングするためのNeLFの設定に従います。 既存の作業とは異なり,低レイテンシと小サイズのモバイルデバイス上で効率的に動作する新しいネットワークアーキテクチャを導入し,mobilenerfと比較して15\times \sim 24\times$ストレージを節約する。 私たちのモデルは、モバイルデバイス上の合成シーンと実世界のシーンの両方に対して、リアルタイムな推論を維持しながら、高解像度な生成を実現しています。例えば、実際の3dシーンの1つ1つの1008\times756$イメージをレンダリングするために18.04$ms (iphone 13)です。 さらに、NeRFと同じような画質と、MobileNeRF(PSNR $26.15$ vs. 25.91$)よりも優れた画質を実現しています。

関連論文リスト

• Efficient Neural Light Fields (ENeLF) for Mobile Devices [0.0]
  この研究はMobileR2Lによって導入された新しいネットワークアーキテクチャに基づいており、レイテンシが低く、サイズが小さいモバイルデバイス上で効率的に動作するモデルを生成する。
  論文  参考訳（メタデータ） (2024-06-02T02:55:52Z)
• Efficient View Synthesis with Neural Radiance Distribution Field [61.22920276806721]
  我々は,リアルタイムに効率的なビュー合成を目標とするニューラルレージアンス分布場(NeRDF)という新しい表現を提案する。 我々は、NeLFのように1ピクセル当たりの1つのネットワーク転送でレンダリング速度を保ちながら、NeRFに似た小さなネットワークを使用する。 実験の結果,提案手法は既存の手法よりも速度,品質,ネットワークサイズとのトレードオフが良好であることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T02:23:28Z)
• MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields [49.68916478541697]
  我々は、NeRF(MEIL-NeRF)のためのメモリ効率の良いインクリメンタル学習アルゴリズムを開発した。 MEIL-NeRFはNeRF自体からインスピレーションを得て、ニューラルネットワークがクエリとして与えられたピクセルRGB値を提供するメモリとして機能する。 その結果、MEIL-NeRFはメモリ消費と競合性能を一定に示すことができた。
  論文  参考訳（メタデータ） (2022-12-16T08:04:56Z)
• Scaling Neural Face Synthesis to High FPS and Low Latency by Neural Caching [12.362614824541824]
  最近のニューラルレンダリングアプローチは、画像の品質を大幅に改善し、光リアリズムに近いものに到達している。 基盤となるニューラルネットワークは高いランタイムを持ち、低レイテンシで高解像度を必要とするテレプレゼンスとバーチャルリアリティアプリケーションを除く。 前のフレームから情報をキャッシュすることで依存関係を壊し、暗黙のワープで現在のフレームの処理を高速化します。 我々は,既存のベンチマークシーケンス上で,テレプレゼンスに必要な3次元ポートレートアバターのビュー依存レンダリングに対するアプローチを検証した。
  論文  参考訳（メタデータ） (2022-11-10T18:58:00Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)
• Baking Neural Radiance Fields for Real-Time View Synthesis [41.07052395570522]
  我々は、NeRFをトレーニングし、プリコンプリートし、保存する(すなわち)方法を提案する。 「ベイク」はスパースニューラルネットワーク放射格子(snerg)と呼ばれる新しい表現である。 結果として生じるシーン表現は、細かい幾何学的詳細とビュー依存の外観をレンダリングするNeRFの能力を保持し、コンパクトであり、リアルタイムでレンダリングすることができる。
  論文  参考訳（メタデータ） (2021-03-26T17:59:52Z)
• FastNeRF: High-Fidelity Neural Rendering at 200FPS [17.722927021159393]
  我々は,ハイエンドGPU上で200Hzの高忠実度画像をレンダリングするシステムであるFastNeRFを提案する。 提案手法は、元のNeRFアルゴリズムよりも3000倍高速で、NeRFを加速する既存の作業よりも少なくとも1桁高速である。
  論文  参考訳（メタデータ） (2021-03-18T17:09:12Z)
• RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices [57.877112704841366]
  本稿では3次元CNNのためのモデル圧縮およびモバイルアクセラレーションフレームワークRT3Dを提案する。 3D CNNのリアルタイム実行は、市販のモバイル上で初めて実現された。
  論文  参考訳（メタデータ） (2020-07-20T02:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。