論文の概要: FPO++: Efficient Encoding and Rendering of Dynamic Neural Radiance Fields by Analyzing and Enhancing Fourier PlenOctrees

• arxiv url: http://arxiv.org/abs/2310.20710v1
• Date: Tue, 31 Oct 2023 17:59:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 13:41:24.686830
• Title: FPO++: Efficient Encoding and Rendering of Dynamic Neural Radiance Fields by Analyzing and Enhancing Fourier PlenOctrees
• Title（参考訳）: FPO++: フーリエプレノツリーの解析とエンハンスによる動的ニューラルラディアンスフィールドの効率的なエンコーディングとレンダリング
• Authors: Saskia Rabich, Patrick Stotko, Reinhard Klein
• Abstract要約: Fourier PlenOctreesは動的ニューラルレイディアンス場(NeRF)のリアルタイムレンダリングの効率的な表現であることを示した。 本稿では,これらのアーティファクトの詳細な分析を行い,得られた知見を活用して,改良された表現を提案する。
• 参考スコア（独自算出の注目度）: 4.033107207078283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fourier PlenOctrees have shown to be an efficient representation for real-time rendering of dynamic Neural Radiance Fields (NeRF). Despite its many advantages, this method suffers from artifacts introduced by the involved compression when combining it with recent state-of-the-art techniques for training the static per-frame NeRF models. In this paper, we perform an in-depth analysis of these artifacts and leverage the resulting insights to propose an improved representation. In particular, we present a novel density encoding that adapts the Fourier-based compression to the characteristics of the transfer function used by the underlying volume rendering procedure and leads to a substantial reduction of artifacts in the dynamic model. Furthermore, we show an augmentation of the training data that relaxes the periodicity assumption of the compression. We demonstrate the effectiveness of our enhanced Fourier PlenOctrees in the scope of quantitative and qualitative evaluations on synthetic and real-world scenes.
• Abstract（参考訳）: Fourier PlenOctreesは、動的ニューラルレイディアンス場(NeRF)のリアルタイムレンダリングの効率的な表現であることが示されている。 多くの利点があるにもかかわらず、この方法は静的フレームごとのNeRFモデルをトレーニングするための最新の最先端技術と組み合わせる際に、関連する圧縮によって導入されたアーティファクトに悩まされる。 本稿では,これらのアーティファクトの詳細な分析を行い,得られた知見を活用して表現の改善を提案する。 特に,Fourierに基づく圧縮を基礎となるボリュームレンダリング法で使用される転送関数の特性に適応させることにより,動的モデルにおけるアーティファクトの大幅な削減を実現する新しい密度符号化を提案する。 さらに,圧縮の周期性仮定を緩和するトレーニングデータの増大を示す。 合成・実世界のシーンにおける定量的・質的評価の範囲におけるFourier PlenOctreesの有効性を示す。

関連論文リスト

• KFD-NeRF: Rethinking Dynamic NeRF with Kalman Filter [49.85369344101118]
  KFD-NeRFは,Kalmanフィルタに基づく効率的かつ高品質な運動再構成フレームワークと統合された,新しい動的ニューラル放射場である。 我々のキーとなる考え方は、動的放射場を、観測と予測という2つの知識源に基づいて時間的に異なる状態が推定される動的システムとしてモデル化することである。 我々のKFD-NeRFは、同等の計算時間と最先端の視線合成性能で、徹底的な訓練を施した類似または優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-18T05:48:24Z)
• Neural NeRF Compression [19.853882143024]
  最近のNeRFは、レンダリング品質とスピードを改善するために機能グリッドを利用している。 これらの表現は、大きなストレージオーバーヘッドをもたらす。 本稿では,グリッドベースNeRFモデルを効率よく圧縮する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T09:12:26Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Anisotropic Neural Representation Learning for High-Quality Neural Rendering [0.0]
  本稿では、学習可能なビュー依存機能を利用してシーン表現と再構成を改善する異方性ニューラル表現学習法を提案する。 我々の手法は柔軟であり、NeRFベースのフレームワークにプラグインできる。
  論文  参考訳（メタデータ） (2023-11-30T07:29:30Z)
• VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
  VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。 圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。 我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
  論文  参考訳（メタデータ） (2023-10-23T01:41:38Z)
• Distributed Neural Representation for Reactive in situ Visualization [23.80657290203846]
  Inlicit Neural representations (INR) は、大規模ボリュームデータを圧縮するための強力なツールとして登場した。 分散ニューラル表現を開発し,それをその場での可視化に最適化する。 我々の技術はプロセス間のデータ交換を排除し、最先端の圧縮速度、品質、比率を達成する。
  論文  参考訳（メタデータ） (2023-03-28T03:55:47Z)
• ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning [102.46382882098847]
  まず,合成から現実への新規な視点合成における合成データの影響について検討した。 本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。 提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
  論文  参考訳（メタデータ） (2023-03-20T12:06:14Z)
• PREF: Phasorial Embedding Fields for Compact Neural Representations [54.44527545923917]
  本稿では,脳神経信号モデリングと再構成作業を容易にするためのコンパクトな表現として,ファサール埋め込みフィールドemphPREFを提案する。 実験の結果,PreFをベースとしたニューラル信号処理技術は,2次元画像補完,3次元SDF表面回帰,5次元放射野再構成と同等であることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T17:43:03Z)
• Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time [43.0484840009621]
  Neural Radiance Field (NeRF)のような暗黙の神経表現は、主にマルチビュー設定下でキャプチャされた静的オブジェクトのモデリングに焦点を当てている。 本稿では,FVV(Fourier PlenOctree)技術を用いて,FVV(Fourier PlenOctree)設定下で撮影した動的シーンの効率的なニューラルモデリングとリアルタイムレンダリングを実現する。 提案手法は,元のNeRFよりも3000倍高速で,SOTAよりも1桁の加速速度を持つことを示す。
  論文  参考訳（メタデータ） (2022-02-17T11:57:01Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。