論文の概要: CodecNeRF: Toward Fast Encoding and Decoding, Compact, and High-quality Novel-view Synthesis
- arxiv url: http://arxiv.org/abs/2404.04913v3
- Date: Wed, 25 Sep 2024 07:16:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 03:26:10.489166
- Title: CodecNeRF: Toward Fast Encoding and Decoding, Compact, and High-quality Novel-view Synthesis
- Title（参考訳）: CodecNeRF: 高速エンコーディング・デコード・コンパクト・高品質ノベルビュー合成を目指して
- Authors: Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park,
- Abstract要約: 我々は,1つのフォワードパスでNeRF表現を生成可能なNeRF表現のためのニューラルネットワークであるCodecNeRFを提案する。
近年のパラメータ効率のよい微調整手法に着想を得て,生成したNeRF表現を新しいテストインスタンスに効率よく適応させるファインタニング手法を提案する。
提案したCodecNeRFは100倍以上の前例のない圧縮性能を達成し、符号化時間を大幅に短縮した。
- 参考スコア（独自算出の注目度）: 2.7463268699570134
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural Radiance Fields (NeRF) have achieved huge success in effectively capturing and representing 3D objects and scenes. However, to establish a ubiquitous presence in everyday media formats, such as images and videos, we need to fulfill three key objectives: 1. fast encoding and decoding time, 2. compact model sizes, and 3. high-quality renderings. Despite recent advancements, a comprehensive algorithm that adequately addresses all objectives has yet to be fully realized. In this work, we present CodecNeRF, a neural codec for NeRF representations, consisting of an encoder and decoder architecture that can generate a NeRF representation in a single forward pass. Furthermore, inspired by the recent parameter-efficient finetuning approaches, we propose a finetuning method to efficiently adapt the generated NeRF representations to a new test instance, leading to high-quality image renderings and compact code sizes. The proposed CodecNeRF, a newly suggested encoding-decoding-finetuning pipeline for NeRF, achieved unprecedented compression performance of more than 100x and remarkable reduction in encoding time while maintaining (or improving) the image quality on widely used 3D object datasets.
- Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、3Dオブジェクトやシーンを効果的に捉え、表現することで大きな成功を収めた。
しかし、画像やビデオなどの日常的なメディア形式において、ユビキタスな存在を確立するためには、3つの重要な目標を達成する必要がある。
1 高速符号化及び復号時間
2.コンパクトモデルサイズ、及び
3. 高品質なレンダリング。
近年の進歩にもかかわらず、全ての目的に適切に対処する包括的アルゴリズムはまだ完全には実現されていない。
本研究では,1つのフォワードパスでNeRF表現を生成可能なエンコーダとデコーダアーキテクチャからなる,NeRF表現のためのニューラルコーデックであるCodecNeRFを提案する。
さらに,近年のパラメータ効率向上手法に着想を得て,生成したNeRF表現を新しいテストインスタンスに効率よく適応させるファインタニング手法を提案し,高品質な画像レンダリングとコンパクトなコードサイズを実現した。
The proposed CodecNeRF, a new proposed encoding-decoding-finetuning pipeline for NeRFは、100倍以上の前例のない圧縮性能を達成し、広く使われている3Dオブジェクトデータセットの画質を維持しつつ、符号化時間を大幅に短縮した。
関連論文リスト
- Evaluation of strategies for efficient rate-distortion NeRF streaming [4.117347527143616]
ニューラル・ラジアンス・フィールド(NeRF)は、スパース画像から高度に現実的で詳細なシーン再構成を可能にすることで、3次元視覚表現の分野に革命をもたらした。
その進歩にもかかわらず、大量のデータを含むため、NeRFコンテンツの効率的なストリーミングは依然として大きな課題である。
本稿では,2つのNeRFストリーミング戦略である画素ベースとニューラルネットワーク(NN)パラメータベースのストリーミングの速度歪み特性について検討する。
論文 参考訳（メタデータ） (2024-10-25T10:40:03Z) - Neural NeRF Compression [19.853882143024]
最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。
これらの表現は、大きなストレージオーバーヘッドをもたらす。
本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T09:12:26Z) - NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation [22.151167286623416]
メモリ効率のよいシーン表現のための非線形変換,量子化,エントロピー符号化を統合したエンドツーエンドのNeRF圧縮フレームワークを提案する。
提案手法は既存のNeRF圧縮法より優れており、0.5MBのメモリ予算で高品質な新規ビュー合成を可能にする。
論文 参考訳（メタデータ） (2024-04-02T15:49:00Z) - Hyb-NeRF: A Multiresolution Hybrid Encoding for Neural Radiance Fields [12.335934855851486]
マルチレゾリューションハイブリッド符号化を用いた新しい神経放射場であるHyb-NeRFを提案する。
本稿では,Hyb-NeRFのレンダリング速度が向上し,レンダリング性能が向上し,従来の手法と比較してメモリフットプリントも低くなることを示す。
論文 参考訳（メタデータ） (2023-11-21T10:01:08Z) - Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial
Decomposition [61.6677901687009]
我々は,音声画像のリアルタイム合成を可能にする,効率的なNeRFベースのフレームワークを提案する。
提案手法は,リアルタイム・オーディオ・リップ同期音声ポートレートビデオを生成する。
論文 参考訳（メタデータ） (2022-11-22T16:03:11Z) - 3D-Aware Encoding for Style-based Neural Radiance Fields [50.118687869198716]
我々は、入力画像をNeRFジェネレータの潜時空間に投影する反転関数を学び、潜時符号に基づいて原画像の新しいビューを合成する。
2次元生成モデルのGANインバージョンと比較して、NeRFインバージョンは、1)入力画像の同一性を維持するだけでなく、2)生成した新規なビューにおいて3D一貫性を確保する必要がある。
スタイルベースNeRFインバージョンのための2段階エンコーダを提案する。
論文 参考訳（メタデータ） (2022-11-12T06:14:12Z) - Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。
一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
論文 参考訳（メタデータ） (2022-10-13T08:15:08Z) - Sem2NeRF: Converting Single-View Semantic Masks to Neural Radiance
Fields [49.41982694533966]
本稿では,1つの単一ビューセマンティックマスクを入力として条件付けしたSemantic-to-NeRF変換を提案する。
特に、Sem2NeRFは、事前訓練されたデコーダの3Dシーン表現を制御する潜在コードにセマンティックマスクをエンコードすることで、非常に困難なタスクに対処する。
提案したSem2NeRFの有効性を検証し、2つのベンチマークデータセット上でいくつかの強いベースラインを上回ります。
論文 参考訳（メタデータ） (2022-03-21T09:15:58Z) - Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。
本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。
我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
論文 参考訳（メタデータ） (2022-02-09T18:48:02Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳（メタデータ） (2021-07-30T04:50:56Z) - Recursive-NeRF: An Efficient and Dynamically Growing NeRF [34.768382663711705]
Recursive-NeRFは、NeRF(Neural Radiance Field)法の効率的なレンダリングおよびトレーニング手法である。
Recursive-NeRFはクエリ座標の不確かさを学習し、予測色の品質と各レベルの体積強度を表す。
3つの公開データセットについて評価したところ, 再帰型NeRFは, 最先端の品質を提供しながら, NeRFよりも効率的であることがわかった。
論文 参考訳（メタデータ） (2021-05-19T12:51:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。