論文の概要: Compressible-composable NeRF via Rank-residual Decomposition

• arxiv url: http://arxiv.org/abs/2205.14870v1
• Date: Mon, 30 May 2022 06:18:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 17:06:37.765598
• Title: Compressible-composable NeRF via Rank-residual Decomposition
• Title（参考訳）: ランク残留分解による圧縮性NeRF
• Authors: Jiaxiang Tang, Xiaokang Chen, Jingbo Wang, Gang Zeng
• Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は、3Dオブジェクトやシーンをリアルにレンダリングするための魅力的な方法として登場した。 本稿では,モデルの効率的かつ便利な操作を可能にするニューラル表現を提案する。 提案手法は,圧縮と合成の余分な能力を実現しつつ,最先端の手法に匹敵するレンダリング品質を実現することができる。
• 参考スコア（独自算出の注目度）: 21.92736190195887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Field (NeRF) has emerged as a compelling method to represent 3D objects and scenes for photo-realistic rendering. However, its implicit representation causes difficulty in manipulating the models like the explicit mesh representation. Several recent advances in NeRF manipulation are usually restricted by a shared renderer network, or suffer from large model size. To circumvent the hurdle, in this paper, we present an explicit neural field representation that enables efficient and convenient manipulation of models. To achieve this goal, we learn a hybrid tensor rank decomposition of the scene without neural networks. Motivated by the low-rank approximation property of the SVD algorithm, we propose a rank-residual learning strategy to encourage the preservation of primary information in lower ranks. The model size can then be dynamically adjusted by rank truncation to control the levels of detail, achieving near-optimal compression without extra optimization. Furthermore, different models can be arbitrarily transformed and composed into one scene by concatenating along the rank dimension. The growth of storage cost can also be mitigated by compressing the unimportant objects in the composed scene. We demonstrate that our method is able to achieve comparable rendering quality to state-of-the-art methods, while enabling extra capability of compression and composition. Code will be made available at \url{https://github.com/ashawkey/CCNeRF}.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、3Dオブジェクトやシーンをリアルにレンダリングするための魅力的な方法として登場した。 しかし、その暗黙の表現は、明示的なメッシュ表現のようなモデルを操作するのに困難を引き起こす。 最近のNeRF操作のいくつかの進歩は、通常共有レンダラーネットワークによって制限されるか、大きなモデルサイズに悩まされる。 本稿では,このハードルを回避するために,モデルの効率的かつ便利な操作を可能にする明示的なニューラルネットワーク表現を提案する。 この目的を達成するために、ニューラルネットワークなしでシーンのハイブリッドテンソルランク分解を学習する。 SVDアルゴリズムの低階近似特性により,下位階における一次情報の保存を促進するために,ランク-残留学習戦略を提案する。 モデルサイズをランク切り下げによって動的に調整して詳細レベルを制御し、余分な最適化なしに準最適圧縮を実現する。 さらに、ランク次元に沿って結合することにより、異なるモデルを任意に変換し、1つのシーンに構成することができる。 合成シーン内の重要でないオブジェクトを圧縮することにより、ストレージコストの増大を軽減できる。 本手法は,圧縮と合成の余分な能力を実現しつつ,最先端の手法と同等のレンダリング品質を達成できることを実証する。 コードは \url{https://github.com/ashawkey/ccnerf} で入手できる。

関連論文リスト

• Scaled Inverse Graphics: Efficiently Learning Large Sets of 3D Scenes [8.847448988112903]
  本研究では,大規模なシーン表現を効率的に学習するフレームワーク「スケールド・インバース・グラフィックス」を提案する。 i)シーンのサブセットで圧縮モデルをトレーニングし、(ii)より小さな表現でNeRFモデルをトレーニングする。 実際には,映像の解像度を抑えるため,潜時空間でNeRFを学習することでシーンの表現をコンパクト化し,シーン間で情報を共有することにより,NeRF表現の複雑さを低減させる。
  論文  参考訳（メタデータ） (2024-10-31T08:58:00Z)
• SIGMA:Sinkhorn-Guided Masked Video Modeling [69.31715194419091]
  SIGMA (Sinkhorn-guided Masked Video Modelling) は、新しいビデオ事前学習法である。 時空管の特徴を,限られた数の学習可能なクラスタに均等に分散する。 10個のデータセットによる実験結果から,より高性能で時間的,堅牢な映像表現を学習する上で,SIGMAの有効性が検証された。
  論文  参考訳（メタデータ） (2024-07-22T08:04:09Z)
• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Neural NeRF Compression [19.853882143024]
  最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。 これらの表現は、大きなストレージオーバーヘッドをもたらす。 本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T09:12:26Z)
• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• Hyper-VolTran: Fast and Generalizable One-Shot Image to 3D Object Structure via HyperNetworks [53.67497327319569]
  画像から3Dまでを1つの視点から解く新しいニューラルレンダリング手法を提案する。 提案手法では, 符号付き距離関数を表面表現として使用し, 幾何エンコードボリュームとハイパーネットワークスによる一般化可能な事前処理を取り入れた。 本実験は,一貫した結果と高速な生成による提案手法の利点を示す。
  論文  参考訳（メタデータ） (2023-12-24T08:42:37Z)
• Lossy Image Compression with Conditional Diffusion Models [25.158390422252097]
  本稿では,拡散生成モデルを用いた画像圧縮のエンドツーエンド最適化について概説する。 VAEベースのニューラル圧縮とは対照的に、(平均)デコーダは決定論的ニューラルネットワークであり、私たちのデコーダは条件付き拡散モデルである。 提案手法では,GANモデルよりもFIDスコアが強く,VAEモデルとの競合性能も高い。
  論文  参考訳（メタデータ） (2022-09-14T21:53:27Z)
• PeRFception: Perception using Radiance Fields [72.99583614735545]
  私たちは、PeRFceptionと呼ばれる知覚タスクのための、最初の大規模な暗黙的表現データセットを作成します。 元のデータセットからかなりのメモリ圧縮率 (96.4%) を示し、2D情報と3D情報の両方を統一形式で格納している。 この暗黙の形式を直接入力する分類とセグメンテーションモデルを構築し、画像の背景に過度に収まらないよう、新しい拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-08-24T13:32:46Z)
• ERF: Explicit Radiance Field Reconstruction From Scratch [12.254150867994163]
  センサのポーズとキャリブレーションでシーンの一連の画像を処理し,フォトリアルなデジタルモデルを推定する,新しい高密度3次元再構成手法を提案する。 重要な革新の1つは、根底にある体積表現が完全に明示的であることである。 我々は,本手法が汎用的かつ実用的であることを示し,撮影に高度に制御された実験室の設置は必要とせず,多種多様な物体でシーンを再構築することができることを示した。
  論文  参考訳（メタデータ） (2022-02-28T19:37:12Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。