論文の概要: Plenoptic PNG: Real-Time Neural Radiance Fields in 150 KB
- arxiv url: http://arxiv.org/abs/2409.15689v1
- Date: Tue, 24 Sep 2024 03:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 09:11:12.506084
- Title: Plenoptic PNG: Real-Time Neural Radiance Fields in 150 KB
- Title（参考訳）: Plenoptic PNG:150KBのリアルタイム神経放射場
- Authors: Jae Yong Lee, Yuqun Wu, Chuhang Zou, Derek Hoiem, Shenlong Wang,
- Abstract要約: 本稿では,3次元シーンを2次元画像から非常にコンパクトな表現に符号化することを目的とする。
様々なプラットフォームでリアルタイムに送信、復号化、レンダリングを可能にする。
- 参考スコア（独自算出の注目度）: 29.267039546199094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The goal of this paper is to encode a 3D scene into an extremely compact representation from 2D images and to enable its transmittance, decoding and rendering in real-time across various platforms. Despite the progress in NeRFs and Gaussian Splats, their large model size and specialized renderers make it challenging to distribute free-viewpoint 3D content as easily as images. To address this, we have designed a novel 3D representation that encodes the plenoptic function into sinusoidal function indexed dense volumes. This approach facilitates feature sharing across different locations, improving compactness over traditional spatial voxels. The memory footprint of the dense 3D feature grid can be further reduced using spatial decomposition techniques. This design combines the strengths of spatial hashing functions and voxel decomposition, resulting in a model size as small as 150 KB for each 3D scene. Moreover, PPNG features a lightweight rendering pipeline with only 300 lines of code that decodes its representation into standard GL textures and fragment shaders. This enables real-time rendering using the traditional GL pipeline, ensuring universal compatibility and efficiency across various platforms without additional dependencies.
- Abstract（参考訳）: 本研究の目的は,3次元シーンを2次元画像から非常にコンパクトな表現に符号化し,その透過性,復号化,レンダリングを様々なプラットフォームでリアルタイムに実現することである。
NeRFやGaussian Splatsの進歩にもかかわらず、その大きなモデルサイズと特殊レンダラーは、画像と同じくらい簡単に自由視点の3Dコンテンツを配布することを困難にしている。
そこで我々は,高密度ボリュームの正弦波関数を符号化した新しい3次元表現を考案した。
このアプローチは、異なる場所にまたがる機能共有を促進し、従来の空間ボクセルよりもコンパクト性を向上させる。
密度の高い3次元特徴格子のメモリフットプリントは、空間分解技術によりさらに小さくすることができる。
この設計は空間ハッシュ関数とボクセル分解の強度を組み合わせており、3Dシーンごとに150KBのモデルサイズとなる。
さらにPPNGは、300行のコードだけで表現を標準のGLテクスチャとフラグメントシェーダーにデコードする軽量なレンダリングパイプラインを備えている。
これにより、従来のGLパイプラインを使用したリアルタイムレンダリングが可能になり、追加の依存関係なしに、さまざまなプラットフォーム間での普遍的な互換性と効率が保証される。
関連論文リスト
- Splatter-360: Generalizable 360$^{\circ}$ Gaussian Splatting for Wide-baseline Panoramic Images [52.48351378615057]
textitSplatter-360は、ワイドベースラインパノラマ画像を扱うための、エンドツーエンドの汎用3DGSフレームワークである。
パノラマ画像に固有の歪みを緩和する3D対応複投影エンコーダを提案する。
これにより、堅牢な3D対応機能表現とリアルタイムレンダリングが可能になる。
論文 参考訳（メタデータ） (2024-12-09T06:58:31Z) - 3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes [87.01284850604495]
多視点画像から幾何学的に有意な放射場をモデル化するためのプリミティブとして3次元滑らかな凸を利用した3次元凸法(3DCS)を提案する。
3DCSは、MipNeizer, Tanks and Temples, Deep Blendingなどのベンチマークで、3DGSよりも優れたパフォーマンスを実現している。
本結果は,高品質なシーン再構築のための新しい標準となる3Dコンベクシングの可能性を強調した。
論文 参考訳（メタデータ） (2024-11-22T14:31:39Z) - Direct and Explicit 3D Generation from a Single Image [25.207277983430608]
マルチビュー2次元深度画像とRGB画像を用いて表面形状とテクスチャを直接生成する新しいフレームワークを提案する。
画素レベルの多視点整合性を実現するために,エピポーラの注意を潜時から画素間デコーダに組み込む。
生成した深度画素を3次元空間にバックプロジェクションすることにより、構造化された3次元表現を生成する。
論文 参考訳（メタデータ） (2024-11-17T03:14:50Z) - EVER: Exact Volumetric Ellipsoid Rendering for Real-time View Synthesis [72.53316783628803]
実時間微分可能な発光専用ボリュームレンダリング法であるExact Volumetric Ellipsoid Rendering (EVER)を提案する。
3D Gaussian Splatting(3DGS)による最近の手法とは異なり、プリミティブベースの表現は正確なボリュームレンダリングを可能にする。
本手法は,3DGSよりもブレンディング問題の方が精度が高く,ビューレンダリングの追従作業も容易であることを示す。
論文 参考訳（メタデータ） (2024-10-02T17:59:09Z) - Compact 3D Gaussian Splatting for Static and Dynamic Radiance Fields [13.729716867839509]
ハイパフォーマンスを維持しつつガウスの数を著しく削減する学習可能なマスク戦略を提案する。
さらに、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2024-08-07T14:56:34Z) - Lightplane: Highly-Scalable Components for Neural 3D Fields [54.59244949629677]
Lightplane RenderとSplatterは2D-3Dマッピングにおけるメモリ使用量を大幅に削減した。
これらのイノベーションは、メモリと計算コストの少ない、はるかに高解像度で高解像度の画像の処理を可能にする。
論文 参考訳（メタデータ） (2024-04-30T17:59:51Z) - Compress3D: a Compressed Latent Space for 3D Generation from a Single Image [27.53099431097921]
トリプレーンオートエンコーダは3次元モデルをコンパクトな3次元ラテント空間に符号化し、3次元幾何情報とテクスチャ情報の両方を圧縮する。
本稿では,低解像度の潜在表現を用いて高解像度の3D特徴量から特徴を問合せする3D対応のクロスアテンション機構を提案する。
われわれのアプローチでは、1つのA100 GPU上で7秒で高品質な3Dアセットを生成できる。
論文 参考訳（メタデータ） (2024-03-20T11:51:04Z) - Compact 3D Gaussian Representation for Radiance Field [14.729871192785696]
本研究では,3次元ガウス点数を削減するための学習可能なマスク戦略を提案する。
また、格子型ニューラルネットワークを用いて、ビュー依存色をコンパクトかつ効果的に表現することを提案する。
我々の研究は、3Dシーン表現のための包括的なフレームワークを提供し、ハイパフォーマンス、高速トレーニング、コンパクト性、リアルタイムレンダリングを実現しています。
論文 参考訳（メタデータ） (2023-11-22T20:31:16Z) - EvaSurf: Efficient View-Aware Implicit Textured Surface Reconstruction [53.28220984270622]
3次元再構成法はリアルタイムに3次元整合性のある高忠実度結果を生成する。
提案手法は,合成と実世界の両方のデータセット上で,高品質な外観と正確なメッシュを再構築することができる。
我々の方法は1つのGPUを使ってたった1～2時間でトレーニングでき、40FPS(Frames per second)以上のモバイルデバイス上で実行することができる。
論文 参考訳（メタデータ） (2023-11-16T11:30:56Z) - High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。
提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
論文 参考訳（メタデータ） (2022-11-28T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。