論文の概要: VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations
- arxiv url: http://arxiv.org/abs/2310.14487v1
- Date: Mon, 23 Oct 2023 01:41:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 23:21:10.388078
- Title: VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations
- Title（参考訳）: VQ-NeRF:ベクトル量子化は暗黙の神経表現を促進する
- Authors: Yiying Yang, Wen Liu, Fukun Yin, Xin Chen, Gang Yu, Jiayuan Fan, Tao
Chen
- Abstract要約: VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。
圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。
我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
- 参考スコア（独自算出の注目度）: 25.88881764546414
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advancements in implicit neural representations have contributed to
high-fidelity surface reconstruction and photorealistic novel view synthesis.
However, the computational complexity inherent in these methodologies presents
a substantial impediment, constraining the attainable frame rates and
resolutions in practical applications. In response to this predicament, we
propose VQ-NeRF, an effective and efficient pipeline for enhancing implicit
neural representations via vector quantization. The essence of our method
involves reducing the sampling space of NeRF to a lower resolution and
subsequently reinstating it to the original size utilizing a pre-trained VAE
decoder, thereby effectively mitigating the sampling time bottleneck
encountered during rendering. Although the codebook furnishes representative
features, reconstructing fine texture details of the scene remains challenging
due to high compression rates. To overcome this constraint, we design an
innovative multi-scale NeRF sampling scheme that concurrently optimizes the
NeRF model at both compressed and original scales to enhance the network's
ability to preserve fine details. Furthermore, we incorporate a semantic loss
function to improve the geometric fidelity and semantic coherence of our 3D
reconstructions. Extensive experiments demonstrate the effectiveness of our
model in achieving the optimal trade-off between rendering quality and
efficiency. Evaluation on the DTU, BlendMVS, and H3DS datasets confirms the
superior performance of our approach.
- Abstract（参考訳）: 近年の暗黙的神経表現の進歩は、高忠実な表面再構成とフォトリアリスティックな新しい視点合成に寄与している。
しかし、これらの方法論に内在する計算複雑性は実質的な障害を示し、実用的な応用において達成可能なフレームレートと解像度を制約している。
そこで本研究では,ベクトル量子化による暗黙的ニューラル表現の強化のための効果的かつ効率的なパイプラインであるVQ-NeRFを提案する。
本手法の本質は、NeRFのサンプリング空間を低分解能に減らし、トレーニング済みのVAEデコーダを用いて元のサイズに戻すことにより、レンダリング中に発生するサンプリング時間ボトルネックを効果的に軽減することである。
コードブックには代表的な特徴があるが、高い圧縮率のため、シーンの細かいテクスチャの詳細を再構築することは難しい。
この制約を克服するため,我々は,ネットワークの細部保存能力を高めるために,圧縮および原スケールのNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を設計した。
さらに,3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
広範な実験により、レンダリング品質と効率の最適なトレードオフを達成するためのモデルの有効性が実証された。
DTU, BlendMVS, H3DSデータセットの評価により, 本手法の優れた性能が確認された。
関連論文リスト
- Magnituder Layers for Implicit Neural Representations in 3D [23.135779936528333]
我々は、"magnituder"と呼ばれる新しいニューラルネットワーク層を導入する。
標準フィードフォワード層にマグニチュードを組み込むことで、推論速度と適応性を向上する。
我々のアプローチは、訓練された暗黙的ニューラル表現モデルにおいてゼロショットのパフォーマンス向上を可能にする。
論文 参考訳（メタデータ） (2024-10-13T08:06:41Z) - Neural NeRF Compression [19.853882143024]
最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。
これらの表現は、大きなストレージオーバーヘッドをもたらす。
本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T09:12:26Z) - Spatial Annealing Smoothing for Efficient Few-shot Neural Rendering [106.0057551634008]
我々は,Spatial Annealing smoothing regularized NeRF (SANeRF) という,正確で効率的な数発のニューラルレンダリング手法を導入する。
単に1行のコードを追加することで、SANeRFは現在の数ショットのNeRF法と比較して、より優れたレンダリング品質とはるかに高速な再構築速度を提供する。
論文 参考訳（メタデータ） (2024-06-12T02:48:52Z) - NeRF-DetS: Enhancing Multi-View 3D Object Detection with Sampling-adaptive Network of Continuous NeRF-based Representation [60.47114985993196]
NeRF-Detは、新しいビュー演算と3D知覚のタスクを統一する。
我々は,新しい3次元知覚ネットワーク構造であるNeRF-DetSを導入する。
NeRF-DetSはScanNetV2データセット上で競合するNeRF-Detより優れている。
論文 参考訳（メタデータ） (2024-04-22T06:59:03Z) - Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape
Reconstruction from Point Clouds [53.02191521770926]
我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。
nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。
全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
論文 参考訳（メタデータ） (2023-08-03T13:56:07Z) - From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。
また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。
NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
論文 参考訳（メタデータ） (2023-06-10T09:19:19Z) - Improved Quasi-Recurrent Neural Network for Hyperspectral Image
Denoising [9.723155514555765]
いくつかの簡単な修正でQRNN3Dの性能が大幅に改善できることが示される。
本稿では,そのバニラ付加スキップ接続を置き換え,エンコーダとデコーダの機能の融合を図るための適応融合モジュールを提案する。
各種ノイズ設定実験の結果,提案手法の有効性と性能が示された。
論文 参考訳（メタデータ） (2022-11-27T12:38:03Z) - Implicit Neural Representation Learning for Hyperspectral Image
Super-Resolution [0.0]
Inlicit Neural Representations (INR)は、新しい効果的な表現として進歩を遂げている。
本稿では、空間座標を対応するスペクトル放射率値にマッピングする連続関数により、HSIを表すINRに基づく新しいHSI再構成モデルを提案する。
論文 参考訳（メタデータ） (2021-12-20T14:07:54Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2021-09-02T17:54:31Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳（メタデータ） (2021-06-09T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。