Fugu-MT 論文翻訳(概要): CAwa-NeRF: Instant Learning of Compression-Aware NeRF Features

論文の概要: CAwa-NeRF: Instant Learning of Compression-Aware NeRF Features

arxiv url: http://arxiv.org/abs/2310.14695v1
Date: Mon, 23 Oct 2023 08:40:44 GMT
ステータス: 処理完了
システム内更新日: 2023-10-24 21:28:18.231023
Title: CAwa-NeRF: Instant Learning of Compression-Aware NeRF Features
Title（参考訳）: CAwa-NeRF:圧縮型NeRF特徴のインスタント学習
Authors: Omnia Mahmoud, Th\'eo Ladune, Matthieu Gendrin
Abstract要約: 本稿では,圧縮対応NeRF特徴量(CAwa-NeRF)の即時学習について紹介する。提案したインスタントラーニングパイプラインは,様々な静的シーンにおいて印象的な結果が得られる。特に、単一のオブジェクトをマスクした背景シーンでは、CAwa-NeRFはPSNR (33 dB) を損なうことなく、元のサイズの機能グリッドを6% (1.2 MB) まで圧縮し、わずかに仮想損失 (32.31 dB) の2.4% (0.53 MB) まで圧縮する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modeling 3D scenes by volumetric feature grids is one of the promising directions of neural approximations to improve Neural Radiance Fields (NeRF). Instant-NGP (INGP) introduced multi-resolution hash encoding from a lookup table of trainable feature grids which enabled learning high-quality neural graphics primitives in a matter of seconds. However, this improvement came at the cost of higher storage size. In this paper, we address this challenge by introducing instant learning of compression-aware NeRF features (CAwa-NeRF), that allows exporting the zip compressed feature grids at the end of the model training with a negligible extra time overhead without changing neither the storage architecture nor the parameters used in the original INGP paper. Nonetheless, the proposed method is not limited to INGP but could also be adapted to any model. By means of extensive simulations, our proposed instant learning pipeline can achieve impressive results on different kinds of static scenes such as single object masked background scenes and real-life scenes captured in our studio. In particular, for single object masked background scenes CAwa-NeRF compresses the feature grids down to 6% (1.2 MB) of the original size without any loss in the PSNR (33 dB) or down to 2.4% (0.53 MB) with a slight virtual loss (32.31 dB).
Abstract（参考訳）: ボリューム特徴格子による3Dシーンのモデリングは、ニューラルレイディアンスフィールド(NeRF)を改善するための神経近似の有望な方向の1つである。 Instant-NGP (INGP) はトレーニング可能な機能グリッドのルックアップテーブルからマルチ解像度ハッシュコードを導入し、高品質なニューラルネットワークプリミティブを数秒で学習できるようにした。しかし、この改善はストレージサイズを高くするコストに繋がった。本稿では, 圧縮対応NeRF特徴量(CAwa-NeRF)の即時学習により, モデルトレーニングの終了時に, ストレージアーキテクチャや元のINGP論文で使用されるパラメータを変更せずに, 余分な時間オーバーヘッドでジップ圧縮された特徴格子をエクスポートすることが可能となる課題に対処する。しかし,提案手法はINGPに限らず,どのモデルにも適用可能である。シミュレーションにより,提案するインスタント・ラーニング・パイプラインは,単一の物体をマスクした背景シーンや,スタジオで撮影された実写シーンなど,さまざまな静的シーンで印象的な結果が得られる。特に、単一のオブジェクトをマスクした背景シーンでは、CAwa-NeRFはPSNR (33 dB) を損なうことなく、元のサイズの機能グリッドを6% (1.2 MB) まで圧縮し、わずかに仮想損失 (32.31 dB) の2.4% (0.53 MB) まで圧縮する。

関連論文リスト

SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields [9.606992888590757]
我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
論文参考訳（メタデータ） (2024-09-06T03:36:12Z)
Neural NeRF Compression [19.853882143024]
最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。これらの表現は、大きなストレージオーバーヘッドをもたらす。本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
論文参考訳（メタデータ） (2024-06-13T09:12:26Z)
N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。本手法は, 視認性, 深度, 外観特性を忠実に近似する。
論文参考訳（メタデータ） (2024-05-25T13:54:34Z)
NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation [22.151167286623416]
メモリ効率のよいシーン表現のための非線形変換,量子化,エントロピー符号化を統合したエンドツーエンドのNeRF圧縮フレームワークを提案する。提案手法は既存のNeRF圧縮法より優れており、0.5MBのメモリ予算で高品質な新規ビュー合成を可能にする。
論文参考訳（メタデータ） (2024-04-02T15:49:00Z)
PyNeRF: Pyramidal Neural Radiance Fields [51.25406129834537]
本研究では,異なる空間グリッド解像度でモデルヘッドを訓練することにより,グリッドモデルへの簡単な修正を提案する。レンダリング時には、単に粗いグリッドを使用して、より大きなボリュームをカバーするサンプルをレンダリングします。 Mip-NeRFと比較して、60倍高速なトレーニングをしながらエラー率を20%削減する。
論文参考訳（メタデータ） (2023-11-30T23:52:46Z)
HollowNeRF: Pruning Hashgrid-Based NeRFs with Trainable Collision Mitigation [6.335245465042035]
ハッシュグリッド型ニューラル放射場(NeRF)に対する新しい圧縮解を提案する。 HollowNeRFは、トレーニングフェーズ中に自動的にフィーチャーグリッドを分散する。提案手法は,パラメータの31%しか利用せず,Instant-NGPに匹敵するレンダリング品質を提供する。
論文参考訳（メタデータ） (2023-08-19T22:28:17Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
論文参考訳（メタデータ） (2022-07-04T02:27:07Z)
NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文参考訳（メタデータ） (2022-03-21T18:56:35Z)
Mega-NeRF: Scalable Construction of Large-Scale NeRFs for Virtual Fly-Throughs [54.41204057689033]
我々は、ニューラルネットワーク(NeRF)を活用して、建物にまたがる大規模な視覚的キャプチャーや、主にドローンデータから収集された複数の都市ブロックからインタラクティブな3D環境を構築する方法について検討する。 NeRFが伝統的に評価されている単一のオブジェクトシーンとは対照的に、この設定には複数の課題がある。我々は、訓練画像(またはむしろピクセル)を、並列で訓練できる異なるNeRFサブモジュールに分割する単純なクラスタリングアルゴリズムを導入する。
論文参考訳（メタデータ） (2021-12-20T17:40:48Z)
DeepCompress: Efficient Point Cloud Geometry Compression [1.808877001896346]
本稿では,ポイントクラウド圧縮のためのより効率的なディープラーニングベースのエンコーダアーキテクチャを提案する。 CENIC(Efficient Neural Image Compression)から学習した活性化関数を組み込むことで,効率と性能が劇的に向上することを示す。提案手法は,BjontegardデルタレートとPSNR値において,ベースラインアプローチよりも小さなマージンで優れていた。
論文参考訳（メタデータ） (2021-06-02T23:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。