論文の概要: VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations
- arxiv url: http://arxiv.org/abs/2310.14487v1
- Date: Mon, 23 Oct 2023 01:41:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 23:21:10.388078
- Title: VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations
- Title(参考訳): VQ-NeRF:ベクトル量子化は暗黙の神経表現を促進する
- Authors: Yiying Yang, Wen Liu, Fukun Yin, Xin Chen, Gang Yu, Jiayuan Fan, Tao
Chen
- Abstract要約: VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。
圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。
我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
- 参考スコア(独自算出の注目度): 25.88881764546414
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advancements in implicit neural representations have contributed to
high-fidelity surface reconstruction and photorealistic novel view synthesis.
However, the computational complexity inherent in these methodologies presents
a substantial impediment, constraining the attainable frame rates and
resolutions in practical applications. In response to this predicament, we
propose VQ-NeRF, an effective and efficient pipeline for enhancing implicit
neural representations via vector quantization. The essence of our method
involves reducing the sampling space of NeRF to a lower resolution and
subsequently reinstating it to the original size utilizing a pre-trained VAE
decoder, thereby effectively mitigating the sampling time bottleneck
encountered during rendering. Although the codebook furnishes representative
features, reconstructing fine texture details of the scene remains challenging
due to high compression rates. To overcome this constraint, we design an
innovative multi-scale NeRF sampling scheme that concurrently optimizes the
NeRF model at both compressed and original scales to enhance the network's
ability to preserve fine details. Furthermore, we incorporate a semantic loss
function to improve the geometric fidelity and semantic coherence of our 3D
reconstructions. Extensive experiments demonstrate the effectiveness of our
model in achieving the optimal trade-off between rendering quality and
efficiency. Evaluation on the DTU, BlendMVS, and H3DS datasets confirms the
superior performance of our approach.
- Abstract(参考訳): 近年の暗黙的神経表現の進歩は、高忠実な表面再構成とフォトリアリスティックな新しい視点合成に寄与している。
しかし、これらの方法論に内在する計算複雑性は実質的な障害を示し、実用的な応用において達成可能なフレームレートと解像度を制約している。
そこで本研究では,ベクトル量子化による暗黙的ニューラル表現の強化のための効果的かつ効率的なパイプラインであるVQ-NeRFを提案する。
本手法の本質は、NeRFのサンプリング空間を低分解能に減らし、トレーニング済みのVAEデコーダを用いて元のサイズに戻すことにより、レンダリング中に発生するサンプリング時間ボトルネックを効果的に軽減することである。
コードブックには代表的な特徴があるが、高い圧縮率のため、シーンの細かいテクスチャの詳細を再構築することは難しい。
この制約を克服するため,我々は,ネットワークの細部保存能力を高めるために,圧縮および原スケールのNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を設計した。
さらに,3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
広範な実験により、レンダリング品質と効率の最適なトレードオフを達成するためのモデルの有効性が実証された。
DTU, BlendMVS, H3DSデータセットの評価により, 本手法の優れた性能が確認された。
関連論文リスト
- Anti-Aliased Neural Implicit Surfaces with Encoding Level of Detail [54.03399077258403]
本稿では,高頻度幾何細部リカバリとアンチエイリアス化された新しいビューレンダリングのための効率的なニューラル表現であるLoD-NeuSを提案する。
我々の表現は、光線に沿った円錐状のフラストラム内の多面体化から空間特徴を集約する。
論文 参考訳(メタデータ) (2023-09-19T05:44:00Z) - Neural Poisson Surface Reconstruction: Resolution-Agnostic Shape
Reconstruction from Point Clouds [53.02191521770926]
我々は,3次元形状を点から復元するという課題に対処する形状再構成アーキテクチャであるニューラルポアソン表面再構成(nPSR)を導入する。
nPSRには2つの大きな利点がある: まず、高分解能評価において同等の性能を達成しつつ、低分解能データの効率的なトレーニングを可能にする。
全体として、ニューラル・ポアソン表面の再構成は、形状再構成における古典的なディープニューラルネットワークの限界を改良するだけでなく、再構築品質、走行時間、分解能非依存の観点からも優れた結果が得られる。
論文 参考訳(メタデータ) (2023-08-03T13:56:07Z) - From NeRFLiX to NeRFLiX++: A General NeRF-Agnostic Restorer Paradigm [57.73868344064043]
我々は、劣化駆動の視点間ミキサーを学習する一般的なNeRF-Agnostic restorerパラダイムであるNeRFLiXを提案する。
また、より強力な2段階のNeRF分解シミュレータとより高速なビューポイントミキサーを備えたNeRFLiX++を提案する。
NeRFLiX++は、ノイズの多い低解像度のNeRFレンダリングビューからフォトリアリスティックな超高解像度出力を復元することができる。
論文 参考訳(メタデータ) (2023-06-10T09:19:19Z) - Improved Quasi-Recurrent Neural Network for Hyperspectral Image
Denoising [9.723155514555765]
いくつかの簡単な修正でQRNN3Dの性能が大幅に改善できることが示される。
本稿では,そのバニラ付加スキップ接続を置き換え,エンコーダとデコーダの機能の融合を図るための適応融合モジュールを提案する。
各種ノイズ設定実験の結果,提案手法の有効性と性能が示された。
論文 参考訳(メタデータ) (2022-11-27T12:38:03Z) - UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural
Radiance Fields [16.826691448973367]
ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成とシーン再構成のための再構築の詳細を増大させる。
しかし、そのようなニューラルネットワークの解像度とモデルフリー性の向上は、高いトレーニング時間と過剰なメモリ要求のコストが伴う。
本研究では,近隣のサンプル点間で評価を部分的に共有することで,NeRFのサンプルベース計算の冗長性を利用する手法を提案する。
論文 参考訳(メタデータ) (2022-06-23T19:57:07Z) - Implicit Neural Representation Learning for Hyperspectral Image
Super-Resolution [0.0]
Inlicit Neural Representations (INR)は、新しい効果的な表現として進歩を遂げている。
本稿では、空間座標を対応するスペクトル放射率値にマッピングする連続関数により、HSIを表すINRに基づく新しいHSI再構成モデルを提案する。
論文 参考訳(メタデータ) (2021-12-20T14:07:54Z) - NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor
Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。
提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-09-02T17:54:31Z) - NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。
この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。
我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
論文 参考訳(メタデータ) (2021-06-09T17:59:10Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳(メタデータ) (2021-06-01T20:34:52Z) - Iso-Points: Optimizing Neural Implicit Surfaces with Hybrid
Representations [21.64457003420851]
我々は,幾何認識によるサンプリングと正規化を課すことができるハイブリッドニューラルサーフェス表現を開発した。
本手法は、多視点画像や点群から神経暗黙面を再構築する技術を改善するために適用できることを実証する。
論文 参考訳(メタデータ) (2020-12-11T15:51:04Z) - Monocular Real-Time Volumetric Performance Capture [28.481131687883256]
本稿では,モノクロ映像から実時間速度でボリューム・パフォーマンス・キャプチャとノベル・ビュー・レンダリングを行うための最初のアプローチを提案する。
このシステムは,Pixel-Aligned Implicit Function (PIFu)を活用して,各フレームから完全にテクスチャ化された3次元人体を再構成する。
また,オンラインハード・サンプル・マイニング(OHEM)技術を導入し,難題の稀な発生により,障害モードを効果的に抑制する手法を提案する。
論文 参考訳(メタデータ) (2020-07-28T04:45:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。