論文の概要: Compressible-composable NeRF via Rank-residual Decomposition
- arxiv url: http://arxiv.org/abs/2205.14870v1
- Date: Mon, 30 May 2022 06:18:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-31 17:06:37.765598
- Title: Compressible-composable NeRF via Rank-residual Decomposition
- Title(参考訳): ランク残留分解による圧縮性NeRF
- Authors: Jiaxiang Tang, Xiaokang Chen, Jingbo Wang, Gang Zeng
- Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は、3Dオブジェクトやシーンをリアルにレンダリングするための魅力的な方法として登場した。
本稿では,モデルの効率的かつ便利な操作を可能にするニューラル表現を提案する。
提案手法は,圧縮と合成の余分な能力を実現しつつ,最先端の手法に匹敵するレンダリング品質を実現することができる。
- 参考スコア(独自算出の注目度): 21.92736190195887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Field (NeRF) has emerged as a compelling method to represent
3D objects and scenes for photo-realistic rendering. However, its implicit
representation causes difficulty in manipulating the models like the explicit
mesh representation. Several recent advances in NeRF manipulation are usually
restricted by a shared renderer network, or suffer from large model size. To
circumvent the hurdle, in this paper, we present an explicit neural field
representation that enables efficient and convenient manipulation of models. To
achieve this goal, we learn a hybrid tensor rank decomposition of the scene
without neural networks. Motivated by the low-rank approximation property of
the SVD algorithm, we propose a rank-residual learning strategy to encourage
the preservation of primary information in lower ranks. The model size can then
be dynamically adjusted by rank truncation to control the levels of detail,
achieving near-optimal compression without extra optimization. Furthermore,
different models can be arbitrarily transformed and composed into one scene by
concatenating along the rank dimension. The growth of storage cost can also be
mitigated by compressing the unimportant objects in the composed scene. We
demonstrate that our method is able to achieve comparable rendering quality to
state-of-the-art methods, while enabling extra capability of compression and
composition. Code will be made available at
\url{https://github.com/ashawkey/CCNeRF}.
- Abstract(参考訳): ニューラル・ラジアンス・フィールド(NeRF)は、3Dオブジェクトやシーンをリアルにレンダリングするための魅力的な方法として登場した。
しかし、その暗黙の表現は、明示的なメッシュ表現のようなモデルを操作するのに困難を引き起こす。
最近のNeRF操作のいくつかの進歩は、通常共有レンダラーネットワークによって制限されるか、大きなモデルサイズに悩まされる。
本稿では,このハードルを回避するために,モデルの効率的かつ便利な操作を可能にする明示的なニューラルネットワーク表現を提案する。
この目的を達成するために、ニューラルネットワークなしでシーンのハイブリッドテンソルランク分解を学習する。
SVDアルゴリズムの低階近似特性により,下位階における一次情報の保存を促進するために,ランク-残留学習戦略を提案する。
モデルサイズをランク切り下げによって動的に調整して詳細レベルを制御し、余分な最適化なしに準最適圧縮を実現する。
さらに、ランク次元に沿って結合することにより、異なるモデルを任意に変換し、1つのシーンに構成することができる。
合成シーン内の重要でないオブジェクトを圧縮することにより、ストレージコストの増大を軽減できる。
本手法は,圧縮と合成の余分な能力を実現しつつ,最先端の手法と同等のレンダリング品質を達成できることを実証する。
コードは \url{https://github.com/ashawkey/ccnerf} で入手できる。
関連論文リスト
- Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object
Structure via HyperNetworks [53.67497327319569]
画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。
提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。
本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
論文 参考訳(メタデータ) (2023-12-24T08:42:37Z) - SCALAR-NeRF: SCAlable LARge-scale Neural Radiance Fields for Scene
Reconstruction [66.69049158826677]
本稿では,スケーラブルな大規模ニューラルシーン再構築に適した新しいフレームワークであるSCALAR-NeRFを紹介する。
ニューラル表現をエンコーダ・デコーダアーキテクチャとして構成し、そこではエンコーダが3次元点座標を処理してエンコーダ化された特徴を生成する。
そこで本研究では,これらの局所モデルから出力を抽出し,最終的な再構築を実現するための効率的かつ効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-11-28T10:18:16Z) - Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。
VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。
提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
論文 参考訳(メタデータ) (2022-09-14T21:53:27Z) - PeRFception: Perception using Radiance Fields [72.99583614735545]
私たちは、PeRFceptionと呼ばれる知覚タスクのための、最初の大規模な暗黙的表現データセットを作成します。
元のデータセットからかなりのメモリ圧縮率 (96.4%) を示し、2D情報と3D情報の両方を統一形式で格納している。
この暗黙の形式を直接入力する分類とセグメンテーションモデルを構築し、画像の背景に過度に収まらないよう、新しい拡張手法を提案する。
論文 参考訳(メタデータ) (2022-08-24T13:32:46Z) - ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。
重要な革新の1つは、根底にある体積表現が完全に明示的であることである。
我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
論文 参考訳(メタデータ) (2022-02-28T19:37:12Z) - InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。
提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。
複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文 参考訳(メタデータ) (2021-12-31T11:56:01Z) - Spatial-Separated Curve Rendering Network for Efficient and
High-Resolution Image Harmonization [59.19214040221055]
本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。
提案手法は従来の手法と比較して90%以上のパラメータを減少させる。
提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
論文 参考訳(メタデータ) (2021-09-13T07:20:16Z) - Deep Neural Networks are Surprisingly Reversible: A Baseline for
Zero-Shot Inversion [90.65667807498086]
本稿では、内部表現のみを与えられたトレーニングモデルへの入力を復元するゼロショット直接モデル逆変換フレームワークを提案する。
ImageNetの最新の分類モデルでは、20層以上の表現から元の224x224px画像を近似的に復元できることを実証的に示す。
論文 参考訳(メタデータ) (2021-07-13T18:01:43Z) - Perceptron Synthesis Network: Rethinking the Action Scale Variances in
Videos [48.57686258913474]
ビデオアクション認識は、固定サイズの3Dカーネルを積み重ねたCNNによって部分的に解決されている。
データから最適なスケールのカーネルを学習することを提案する。
固定サイズのカーネルの袋からカーネルを生成するために,テキスト分割パーセプトロンシンセサイザーを提案する。
論文 参考訳(メタデータ) (2020-07-22T14:22:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。