論文の概要: CodecNeRF: Toward Fast Encoding and Decoding, Compact, and High-quality Novel-view Synthesis
- arxiv url: http://arxiv.org/abs/2404.04913v3
- Date: Wed, 25 Sep 2024 07:16:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 19:21:54.479771
- Title: CodecNeRF: Toward Fast Encoding and Decoding, Compact, and High-quality Novel-view Synthesis
- Title(参考訳): CodecNeRF: 高速エンコーディング・デコード・コンパクト・高品質ノベルビュー合成を目指して
- Authors: Gyeongjin Kang, Younggeun Lee, Seungjun Oh, Eunbyung Park,
- Abstract要約: 我々は,1つのフォワードパスでNeRF表現を生成可能なNeRF表現のためのニューラルネットワークであるCodecNeRFを提案する。
近年のパラメータ効率のよい微調整手法に着想を得て,生成したNeRF表現を新しいテストインスタンスに効率よく適応させるファインタニング手法を提案する。
提案したCodecNeRFは100倍以上の前例のない圧縮性能を達成し、符号化時間を大幅に短縮した。
- 参考スコア(独自算出の注目度): 2.7463268699570134
- License:
- Abstract: Neural Radiance Fields (NeRF) have achieved huge success in effectively capturing and representing 3D objects and scenes. However, to establish a ubiquitous presence in everyday media formats, such as images and videos, we need to fulfill three key objectives: 1. fast encoding and decoding time, 2. compact model sizes, and 3. high-quality renderings. Despite recent advancements, a comprehensive algorithm that adequately addresses all objectives has yet to be fully realized. In this work, we present CodecNeRF, a neural codec for NeRF representations, consisting of an encoder and decoder architecture that can generate a NeRF representation in a single forward pass. Furthermore, inspired by the recent parameter-efficient finetuning approaches, we propose a finetuning method to efficiently adapt the generated NeRF representations to a new test instance, leading to high-quality image renderings and compact code sizes. The proposed CodecNeRF, a newly suggested encoding-decoding-finetuning pipeline for NeRF, achieved unprecedented compression performance of more than 100x and remarkable reduction in encoding time while maintaining (or improving) the image quality on widely used 3D object datasets.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は、3Dオブジェクトやシーンを効果的に捉え、表現することで大きな成功を収めた。
しかし、画像やビデオなどの日常的なメディア形式において、ユビキタスな存在を確立するためには、3つの重要な目標を達成する必要がある。
1 高速符号化及び復号時間
2.コンパクトモデルサイズ、及び
3. 高品質なレンダリング。
近年の進歩にもかかわらず、全ての目的に適切に対処する包括的アルゴリズムはまだ完全には実現されていない。
本研究では,1つのフォワードパスでNeRF表現を生成可能なエンコーダとデコーダアーキテクチャからなる,NeRF表現のためのニューラルコーデックであるCodecNeRFを提案する。
さらに,近年のパラメータ効率向上手法に着想を得て,生成したNeRF表現を新しいテストインスタンスに効率よく適応させるファインタニング手法を提案し,高品質な画像レンダリングとコンパクトなコードサイズを実現した。
The proposed CodecNeRF, a new proposed encoding-decoding-finetuning pipeline for NeRFは、100倍以上の前例のない圧縮性能を達成し、広く使われている3Dオブジェクトデータセットの画質を維持しつつ、符号化時間を大幅に短縮した。
関連論文リスト
- Neural NeRF Compression [19.853882143024]
最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。
これらの表現は、大きなストレージオーバーヘッドをもたらす。
本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-06-13T09:12:26Z) - NeRFCodec: Neural Feature Compression Meets Neural Radiance Fields for Memory-Efficient Scene Representation [22.151167286623416]
メモリ効率のよいシーン表現のための非線形変換,量子化,エントロピー符号化を統合したエンドツーエンドのNeRF圧縮フレームワークを提案する。
提案手法は既存のNeRF圧縮法より優れており、0.5MBのメモリ予算で高品質な新規ビュー合成を可能にする。
論文 参考訳(メタデータ) (2024-04-02T15:49:00Z) - Hyb-NeRF: A Multiresolution Hybrid Encoding for Neural Radiance Fields [12.335934855851486]
マルチレゾリューションハイブリッド符号化を用いた新しい神経放射場であるHyb-NeRFを提案する。
本稿では,Hyb-NeRFのレンダリング速度が向上し,レンダリング性能が向上し,従来の手法と比較してメモリフットプリントも低くなることを示す。
論文 参考訳(メタデータ) (2023-11-21T10:01:08Z) - Real-time Neural Radiance Talking Portrait Synthesis via Audio-spatial
Decomposition [61.6677901687009]
我々は,音声画像のリアルタイム合成を可能にする,効率的なNeRFベースのフレームワークを提案する。
提案手法は,リアルタイム・オーディオ・リップ同期音声ポートレートビデオを生成する。
論文 参考訳(メタデータ) (2022-11-22T16:03:11Z) - Magic3D: High-Resolution Text-to-3D Content Creation [78.40092800817311]
DreamFusionは最近、NeRF(Neural Radiance Fields)を最適化するための事前訓練されたテキスト-画像拡散モデルの有用性を実証した。
本稿では,2段階最適化フレームワークを用いて,これらの制約に対処する。
Magic3Dと呼ばれる我々の手法は、DreamFusionより2倍高速な高品質な3Dメッシュモデルを40分で作成できる。
論文 参考訳(メタデータ) (2022-11-18T18:59:59Z) - 3D-Aware Encoding for Style-based Neural Radiance Fields [50.118687869198716]
我々は、入力画像をNeRFジェネレータの潜時空間に投影する反転関数を学び、潜時符号に基づいて原画像の新しいビューを合成する。
2次元生成モデルのGANインバージョンと比較して、NeRFインバージョンは、1)入力画像の同一性を維持するだけでなく、2)生成した新規なビューにおいて3D一貫性を確保する必要がある。
スタイルベースNeRFインバージョンのための2段階エンコーダを提案する。
論文 参考訳(メタデータ) (2022-11-12T06:14:12Z) - Denoising Diffusion Error Correction Codes [92.10654749898927]
近年、ニューラルデコーダは古典的デコーダ技術に対する優位性を実証している。
最近の最先端のニューラルデコーダは複雑で、多くのレガシデコーダの重要な反復的スキームが欠如している。
本稿では,任意のブロック長の線形符号のソフトデコードにデノナイズ拡散モデルを適用することを提案する。
論文 参考訳(メタデータ) (2022-09-16T11:00:50Z) - NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。
我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
論文 参考訳(メタデータ) (2022-03-21T18:56:35Z) - Dynamic Neural Representational Decoders for High-Resolution Semantic
Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。
エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。
このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文 参考訳(メタデータ) (2021-07-30T04:50:56Z) - Recursive-NeRF: An Efficient and Dynamically Growing NeRF [34.768382663711705]
Recursive-NeRFは、NeRF(Neural Radiance Field)法の効率的なレンダリングおよびトレーニング手法である。
Recursive-NeRFはクエリ座標の不確かさを学習し、予測色の品質と各レベルの体積強度を表す。
3つの公開データセットについて評価したところ, 再帰型NeRFは, 最先端の品質を提供しながら, NeRFよりも効率的であることがわかった。
論文 参考訳(メタデータ) (2021-05-19T12:51:54Z) - Enhanced Standard Compatible Image Compression Framework based on
Auxiliary Codec Networks [8.440333621142226]
Auxiliary Codec Networks (ACNs) に基づく新しい標準互換画像圧縮フレームワークを提案する。
ACNは、既存の画像劣化操作を模倣するように設計されており、コンパクトな表現ネットワークにより正確な勾配を提供する。
本稿では,JPEGおよび高効率ビデオ符号化(HEVC)標準に基づく提案フレームワークが,既存の画像圧縮アルゴリズムを標準互換性で大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2020-09-30T15:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。