論文の概要: CodecNeRF: Toward Fast Encoding and Decoding, Compact, and High-quality Novel-view Synthesis
- arxiv url: http://arxiv.org/abs/2404.04913v2
- Date: Tue, 28 May 2024 04:30:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 00:59:19.182059
- Title: CodecNeRF: Toward Fast Encoding and Decoding, Compact, and High-quality Novel-view Synthesis
- Title（参考訳）: CodecNeRF: 高速エンコーディング・デコード・コンパクト・高品質ノベルビュー合成を目指して
- Authors: Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park,
- Abstract要約: 本稿では,ニューラルエンコーダおよびデコーダアーキテクチャであるCodecNeRFについて述べる。
また,生成したNeRF表現を新しいテストインスタンスに効率よく適応させるファインタニング手法を開発した。
提案したCodecNeRFは、150倍以上の圧縮性能と20倍の符号化時間で前例のない圧縮性能を達成した。
- 参考スコア（独自算出の注目度）: 2.7463268699570134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Radiance Fields (NeRF) have achieved huge success in effectively capturing and representing 3D objects and scenes. However, several factors have impeded its further proliferation as next-generation 3D media. To establish a ubiquitous presence in everyday media formats, such as images and videos, it is imperative to devise a solution that effectively fulfills three key objectives: fast encoding and decoding time, compact model sizes, and high-quality renderings. Despite significant advancements, a comprehensive algorithm that adequately addresses all objectives has yet to be fully realized. In this work, we present CodecNeRF, a neural codec for NeRF representations, consisting of a novel encoder and decoder architecture that can generate a NeRF representation in a single forward pass. Furthermore, inspired by the recent parameter-efficient finetuning approaches, we develop a novel finetuning method to efficiently adapt the generated NeRF representations to a new test instance, leading to high-quality image renderings and compact code sizes. The proposed CodecNeRF, a newly suggested encoding-decoding-finetuning pipeline for NeRF, achieved unprecedented compression performance of more than 150x and 20x reduction in encoding time while maintaining (or improving) the image quality on widely used 3D object datasets, such as ShapeNet and Objaverse.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、3Dオブジェクトやシーンを効果的に捉え、表現することで大きな成功を収めた。
しかし、いくつかの要因が次世代3Dメディアとしてさらなる増殖を阻害している。
画像やビデオなどの日常的なメディアフォーマットにおいて、ユビキタスな存在を確立するためには、高速エンコーディングとデコード時間、コンパクトモデルサイズ、高品質レンダリングの3つの主要な目的を効果的に果たすソリューションを考案することが不可欠である。
大幅な進歩にもかかわらず、全ての目的に適切に対処する包括的アルゴリズムはまだ完全には実現されていない。
本研究では,新しいエンコーダとデコーダアーキテクチャからなるNeRF表現のためのニューラルコーデックであるCodecNeRFについて述べる。
さらに, パラメータ効率のよいファインタニング手法に着想を得て, 生成したNeRF表現を新しいテストインスタンスに効率よく適応させるファインタニング手法を開発し, 高品質な画像レンダリングとコンパクトなコードサイズを実現した。
The proposed CodecNeRF, a new proposed encoding-decoding-finetuning pipeline for NeRFは、ShapeNetやObjaverseといった広く使われている3Dオブジェクトデータセット上で画像品質を維持し(または改善)しながら、エンコーディング時間の150倍以上と20倍の圧縮性能を達成した。
関連論文リスト
- Evaluation of strategies for efficient rate-distortion NeRF streaming [4.117347527143616]
ニューラル・ラジアンス・フィールド(NeRF)は、スパース画像から高度に現実的で詳細なシーン再構成を可能にすることで、3次元視覚表現の分野に革命をもたらした。
その進歩にもかかわらず、大量のデータを含むため、NeRFコンテンツの効率的なストリーミングは依然として大きな課題である。
本稿では,2つのNeRFストリーミング戦略である画素ベースとニューラルネットワーク(NN)パラメータベースのストリーミングの速度歪み特性について検討する。
論文 参考訳（メタデータ） (2024-10-25T10:40:03Z) - Neural NeRF Compression [19.853882143024]
最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。
これらの表現は、大きなストレージオーバーヘッドをもたらす。
本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T09:12:26Z) - NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation [22.151167286623416]
メモリ効率のよいシーン表現のための非線形変換,量子化,エントロピー符号化を統合したエンドツーエンドのNeRF圧縮フレームワークを提案する。
提案手法は既存のNeRF圧縮法より優れており、0.5MBのメモリ予算で高品質な新規ビュー合成を可能にする。
論文 参考訳（メタデータ） (2024-04-02T15:49:00Z) - Hyb-NeRF: A Multiresolution Hybrid Encoding for Neural Radiance Fields [12.335934855851486]
マルチレゾリューションハイブリッド符号化を用いた新しい神経放射場であるHyb-NeRFを提案する。
本稿では,Hyb-NeRFのレンダリング速度が向上し,レンダリング性能が向上し,従来の手法と比較してメモリフットプリントも低くなることを示す。
論文 参考訳（メタデータ） (2023-11-21T10:01:08Z) - Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial
Decomposition [61.6677901687009]
我々は,音声画像のリアルタイム合成を可能にする,効率的なNeRFベースのフレームワークを提案する。
提案手法は,リアルタイム・オーディオ・リップ同期音声ポートレートビデオを生成する。
論文 参考訳（メタデータ） (2022-11-22T16:03:11Z) - 3D-Aware Encoding for Style-based Neural Radiance Fields [50.118687869198716]
我々は、入力画像をNeRFジェネレータの潜時空間に投影する反転関数を学び、潜時符号に基づいて原画像の新しいビューを合成する。
2次元生成モデルのGANインバージョンと比較して、NeRFインバージョンは、1)入力画像の同一性を維持するだけでなく、2)生成した新規なビューにおいて3D一貫性を確保する必要がある。
スタイルベースNeRFインバージョンのための2段階エンコーダを提案する。
論文 参考訳（メタデータ） (2022-11-12T06:14:12Z) - Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。
一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
論文 参考訳（メタデータ） (2022-10-13T08:15:08Z) - Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance
Fields [49.41982694533966]
本稿では,1つの単一ビューセマンティックマスクを入力として条件付けしたSemantic-to-NeRF変換を提案する。
特に、Sem2NeRFは、事前訓練されたデコーダの3Dシーン表現を制御する潜在コードにセマンティックマスクをエンコードすることで、非常に困難なタスクに対処する。
提案したSem2NeRFの有効性を検証し、2つのベンチマークデータセット上でいくつかの強いベースラインを上回ります。
論文 参考訳（メタデータ） (2022-03-21T09:15:58Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳（メタデータ） (2022-02-09T18:48:02Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z) - Recursive-NeRF: An Efficient and Dynamically Growing NeRF [34.768382663711705]
Recursive-NeRFは、NeRF(Neural Radiance Field)法の効率的なレンダリングおよびトレーニング手法である。
Recursive-NeRFはクエリ座標の不確かさを学習し、予測色の品質と各レベルの体積強度を表す。
3つの公開データセットについて評価したところ, 再帰型NeRFは, 最先端の品質を提供しながら, NeRFよりも効率的であることがわかった。
論文 参考訳（メタデータ） (2021-05-19T12:51:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。