論文の概要: NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation
- arxiv url: http://arxiv.org/abs/2404.02185v1
- Date: Tue, 2 Apr 2024 15:49:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 19:38:40.506290
- Title: NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation
- Title(参考訳): NeRFCodec: メモリ効率の良いシーン表現のためのニューラル・ラジアンス・フィールドを提示するニューラル・フィーチャー・圧縮
- Authors: Sicheng Li, Hao Li, Yiyi Liao, Lu Yu,
- Abstract要約: メモリ効率のよいシーン表現のための非線形変換,量子化,エントロピー符号化を統合したエンドツーエンドのNeRF圧縮フレームワークを提案する。
提案手法は既存のNeRF圧縮法より優れており、0.5MBのメモリ予算で高品質な新規ビュー合成を可能にする。
- 参考スコア(独自算出の注目度): 22.151167286623416
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The emergence of Neural Radiance Fields (NeRF) has greatly impacted 3D scene modeling and novel-view synthesis. As a kind of visual media for 3D scene representation, compression with high rate-distortion performance is an eternal target. Motivated by advances in neural compression and neural field representation, we propose NeRFCodec, an end-to-end NeRF compression framework that integrates non-linear transform, quantization, and entropy coding for memory-efficient scene representation. Since training a non-linear transform directly on a large scale of NeRF feature planes is impractical, we discover that pre-trained neural 2D image codec can be utilized for compressing the features when adding content-specific parameters. Specifically, we reuse neural 2D image codec but modify its encoder and decoder heads, while keeping the other parts of the pre-trained decoder frozen. This allows us to train the full pipeline via supervision of rendering loss and entropy loss, yielding the rate-distortion balance by updating the content-specific parameters. At test time, the bitstreams containing latent code, feature decoder head, and other side information are transmitted for communication. Experimental results demonstrate our method outperforms existing NeRF compression methods, enabling high-quality novel view synthesis with a memory budget of 0.5 MB.
- Abstract(参考訳): ニューラルレージアンス場(NeRF)の出現は3次元シーンモデリングと新規ビュー合成に大きな影響を与えている。
3次元シーン表現のための視覚メディアの一種として、高速歪み性能の圧縮は永遠の目標である。
ニューラル圧縮とニューラルフィールド表現の進歩により、非線形変換、量子化、エントロピー符号化を統合してメモリ効率の高いシーン表現を実現する、エンドツーエンドのNeRF圧縮フレームワークNeRFCodecを提案する。
大規模なNeRF特徴面上で非線形変換を直接訓練することは現実的ではないため、コンテンツ固有のパラメータを追加する際に、事前学習されたニューラル2D画像コーデックが特徴を圧縮するのに有効であることが判明した。
具体的には、ニューラル2D画像コーデックを再利用するが、そのエンコーダとデコーダのヘッドを変更するとともに、事前訓練されたデコーダの他の部分を凍結させる。
これにより、レンダリング損失とエントロピー損失の監視を通じて、完全なパイプラインをトレーニングすることが可能になります。
テスト時には、遅延コード、特徴デコーダヘッド、その他の側情報を含むビットストリームを通信するために送信する。
実験により,提案手法は既存のNeRF圧縮法より優れており,0.5MBのメモリ予算で高品質な新規ビュー合成が可能であった。
関連論文リスト
- CodecNeRF: Toward Fast Encoding and Decoding, Compact, and High-quality Novel-view Synthesis [3.0001648106508996]
本稿では,ニューラルエンコーダおよびデコーダアーキテクチャであるCodecNeRFについて述べる。
また,生成したNeRF表現を新しいテストインスタンスに効率よく適応させるファインタニング手法を開発した。
提案したCodecNeRFは、150倍以上の圧縮性能と20倍の符号化時間で前例のない圧縮性能を達成した。
論文 参考訳(メタデータ) (2024-04-07T10:49:59Z) - NeRF-MAE: Masked AutoEncoders for Self-Supervised 3D Representation Learning for Neural Radiance Fields [51.94908232543638]
提案手法は,RGB画像から有効な3D表現を生成する方法を示す。
我々は、この表現を、提案した擬似RGBデータに基づいて大規模に事前訓練し、合計で1.6万枚以上の画像を生成する。
我々は,NeRFの自己教師型プレトレーニングであるNeRF-MAE(NeRF-MAE)を目覚ましいスケールで実施し,様々な3Dタスクの性能向上を実現した。
論文 参考訳(メタデータ) (2024-04-01T17:59:55Z) - NERV++: An Enhanced Implicit Neural Video Representation [11.25130799452367]
強調された暗黙的ニューラルビデオ表現であるNeRV++のニューラル表現を導入する。
NeRV++は、オリジナルのNeRVデコーダアーキテクチャよりも単純だが効果的な拡張である。
提案手法をUVG,MCL JVC,Bunnyのデータセット上で評価し,INRによる映像圧縮の競合性を実現する。
論文 参考訳(メタデータ) (2024-02-28T13:00:32Z) - CAwa-NeRF: Instant Learning of Compression-Aware NeRF Features [0.0]
本稿では,圧縮対応NeRF特徴量(CAwa-NeRF)の即時学習について紹介する。
提案したインスタントラーニングパイプラインは,様々な静的シーンにおいて印象的な結果が得られる。
特に、単一のオブジェクトをマスクした背景シーンでは、CAwa-NeRFはPSNR (33 dB) を損なうことなく、元のサイズの機能グリッドを6% (1.2 MB) まで圧縮し、わずかに仮想損失 (32.31 dB) の2.4% (0.53 MB) まで圧縮する。
論文 参考訳(メタデータ) (2023-10-23T08:40:44Z) - VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。
圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。
我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
論文 参考訳(メタデータ) (2023-10-23T01:41:38Z) - Real-Time Radiance Fields for Single-Image Portrait View Synthesis [85.32826349697972]
本研究では,1つの未提示画像からリアルタイムに3D表現を推測・描画するワンショット手法を提案する。
一つのRGB入力が与えられた場合、画像エンコーダは、ボリュームレンダリングによる3次元新規ビュー合成のためのニューラルラディアンスフィールドの標準三面体表現を直接予測する。
提案手法は消費者ハードウェア上で高速(24fps)であり,テスト時間最適化を必要とする強力なGAN反転ベースラインよりも高品質な結果が得られる。
論文 参考訳(メタデータ) (2023-05-03T17:56:01Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳(メタデータ) (2022-09-29T04:06:00Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳(メタデータ) (2022-02-09T18:48:02Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳(メタデータ) (2021-07-30T04:50:56Z) - BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。
BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。
これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
論文 参考訳(メタデータ) (2021-04-13T17:59:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。