論文の概要: NeRFlex: Resource-aware Real-time High-quality Rendering of Complex Scenes on Mobile Devices

• arxiv url: http://arxiv.org/abs/2504.03415v1
• Date: Fri, 04 Apr 2025 12:53:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:48:47.340835
• Title: NeRFlex: Resource-aware Real-time High-quality Rendering of Complex Scenes on Mobile Devices
• Title（参考訳）: NeRFlex: 複雑なシーンをモバイルデバイス上でリアルタイムにレンダリングする
• Authors: Zhe Wang, Yifei Zhu,
• Abstract要約: モバイルデバイス上の複雑なシーンをリアルタイムにレンダリングするフレームワークNeRFlexについて紹介する。 NeRFlexはモバイルNeRFレンダリングとマルチNeRF表現を統合し、シーンを複数のサブシーンに分解する。 実世界のデータセットとモバイルデバイスの実験は、NeRFlexがリアルタイムで高品質なレンダリングを実現していることを示している。
• 参考スコア（独自算出の注目度）: 12.392923990003753
• License:
• Abstract: Neural Radiance Fields (NeRF) is a cutting-edge neural network-based technique for novel view synthesis in 3D reconstruction. However, its significant computational demands pose challenges for deployment on mobile devices. While mesh-based NeRF solutions have shown potential in achieving real-time rendering on mobile platforms, they often fail to deliver high-quality reconstructions when rendering practical complex scenes. Additionally, the non-negligible memory overhead caused by pre-computed intermediate results complicates their practical application. To overcome these challenges, we present NeRFlex, a resource-aware, high-resolution, real-time rendering framework for complex scenes on mobile devices. NeRFlex integrates mobile NeRF rendering with multi-NeRF representations that decompose a scene into multiple sub-scenes, each represented by an individual NeRF network. Crucially, NeRFlex considers both memory and computation constraints as first-class citizens and redesigns the reconstruction process accordingly. NeRFlex first designs a detail-oriented segmentation module to identify sub-scenes with high-frequency details. For each NeRF network, a lightweight profiler, built on domain knowledge, is used to accurately map configurations to visual quality and memory usage. Based on these insights and the resource constraints on mobile devices, NeRFlex presents a dynamic programming algorithm to efficiently determine configurations for all NeRF representations, despite the NP-hardness of the original decision problem. Extensive experiments on real-world datasets and mobile devices demonstrate that NeRFlex achieves real-time, high-quality rendering on commercial mobile devices.
• Abstract（参考訳）: Neural Radiance Fields (NeRF)は、3次元再構成における新しいビュー合成のための最先端のニューラルネットワークベースの技術である。 しかし、その重要な計算上の要求は、モバイルデバイスへのデプロイに困難をもたらす。 メッシュベースのNeRFソリューションは、モバイルプラットフォーム上でリアルタイムレンダリングを実現する可能性を示しているが、現実的な複雑なシーンをレンダリングする際には、高品質な再構築を失敗することが多い。 さらに、事前計算された中間結果によって生じる無視できないメモリオーバーヘッドは、その実践的応用を複雑にする。 これらの課題を克服するために、モバイルデバイス上の複雑なシーンのためのリソース対応、高解像度、リアルタイムレンダリングフレームワークNeRFlexを紹介します。 NeRFlexはモバイルNeRFレンダリングとマルチNeRF表現を統合し、シーンを複数のサブシーンに分解し、それぞれ個別のNeRFネットワークで表現する。 重要なことは、NeRFlexはメモリと計算の制約を第一級市民とみなし、それに従って再構築プロセスを再設計する。 NeRFlexは、まず、高周波の詳細でサブシーンを識別するためのディテール指向のセグメンテーションモジュールを設計した。 各NeRFネットワークでは、ドメイン知識に基づいて構築された軽量プロファイラを使用して、構成を視覚的品質とメモリ使用量に正確にマッピングする。 これらの知見とモバイルデバイス上のリソース制約に基づいて、NeRFlexは、元の決定問題のNP硬さにもかかわらず、すべてのNeRF表現の構成を効率的に決定する動的プログラミングアルゴリズムを提供する。 実世界のデータセットとモバイルデバイスに関する大規模な実験は、NeRFlexが商用モバイルデバイス上でリアルタイムで高品質なレンダリングを実現していることを示している。

関連論文リスト

• Efficient Neural Light Fields (ENeLF) for Mobile Devices [0.0]
  この研究はMobileR2Lによって導入された新しいネットワークアーキテクチャに基づいており、レイテンシが低く、サイズが小さいモバイルデバイス上で効率的に動作するモデルを生成する。
  論文  参考訳（メタデータ） (2024-06-02T02:55:52Z)
• Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs [59.12526668734703]
  本稿では,オブジェクト合成可能なNeRFモデルであるComposable Object Volume NeRF(COV-NeRF)を紹介する。 COV-NeRFは、実際の画像からオブジェクトを抽出し、それらを新しいシーンに合成し、フォトリアリスティックなレンダリングと多くのタイプの2Dおよび3D監視を生成する。
  論文  参考訳（メタデータ） (2024-03-07T00:00:02Z)
• Hyb-NeRF: A Multiresolution Hybrid Encoding for Neural Radiance Fields [12.335934855851486]
  マルチレゾリューションハイブリッド符号化を用いた新しい神経放射場であるHyb-NeRFを提案する。 本稿では,Hyb-NeRFのレンダリング速度が向上し,レンダリング性能が向上し,従来の手法と比較してメモリフットプリントも低くなることを示す。
  論文  参考訳（メタデータ） (2023-11-21T10:01:08Z)
• From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
  我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。 また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。 NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
  論文  参考訳（メタデータ） (2023-06-10T09:19:19Z)
• Gen-NeRF: Efficient and Generalizable Neural Radiance Fields via Algorithm-Hardware Co-Design [17.32288942793313]
  Gen-NeRFは、一般化可能なNeRFアクセラレーションに特化したアルゴリズムハードウェアの共同設計フレームワークである。 アルゴリズム側では、Gen-NeRFは粗いthen-focusサンプリング戦略を統合する。 ハードウェア面では、Gen-NeRFはデータ再利用の機会を最大化するためのアクセラレーターマイクロアーキテクチャを強調している。
  論文  参考訳（メタデータ） (2023-04-24T06:22:06Z)
• Re-ReND: Real-time Rendering of NeRFs across Devices [56.081995086924216]
  Re-ReNDは、NeRFを標準グラフィックスパイプラインで効率的に処理できる表現に変換することで、リアルタイムのパフォーマンスを実現するように設計されている。 Re-ReNDはレンダリング速度が2.6倍に向上し、最先端技術では品質が損なわれることなく達成できることがわかった。
  論文  参考訳（メタデータ） (2023-03-15T15:59:41Z)
• MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields [49.68916478541697]
  我々は、NeRF(MEIL-NeRF)のためのメモリ効率の良いインクリメンタル学習アルゴリズムを開発した。 MEIL-NeRFはNeRF自体からインスピレーションを得て、ニューラルネットワークがクエリとして与えられたピクセルRGB値を提供するメモリとして機能する。 その結果、MEIL-NeRFはメモリ消費と競合性能を一定に示すことができた。
  論文  参考訳（メタデータ） (2022-12-16T08:04:56Z)
• Real-Time Neural Light Field on Mobile Devices [54.44982318758239]
  低レイテンシで小さなサイズでモバイルデバイス上で効率的に動作する新しいネットワークアーキテクチャを導入する。 本モデルでは,合成シーンと実世界のシーンの両方において,リアルタイムな推論を維持しながら高分解能な生成を実現する。
  論文  参考訳（メタデータ） (2022-12-15T18:58:56Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。