論文の概要: Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations

• arxiv url: http://arxiv.org/abs/2310.17880v1
• Date: Fri, 27 Oct 2023 03:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 14:59:19.400950
• Title: Reconstructive Latent-Space Neural Radiance Fields for Efficient 3D Scene Representations
• Title（参考訳）: 効率的な3次元シーン表現のための再構成潜在空間ニューラルラミアンスフィールド
• Authors: Tristan Aumentado-Armstrong, Ashkan Mirzaei, Marcus A. Brubaker, Jonathan Kelly, Alex Levinshtein, Konstantinos G. Derpanis, Igor Gilitschenski
• Abstract要約: 本研究では,自動エンコーダとNeRFを組み合わせることで,遅延特徴を描画し,畳み込み復号する手法を提案する。 結果として、潜在空間のNeRFは、標準色空間のNeRFよりも高品質で新しいビューを生成することができる。 AEアーキテクチャを小さくすることで効率と画質のトレードオフを制御でき、性能をわずかに低下させるだけで13倍以上高速なレンダリングを実現できます。
• 参考スコア（独自算出の注目度）: 34.836151514152746
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural Radiance Fields (NeRFs) have proven to be powerful 3D representations, capable of high quality novel view synthesis of complex scenes. While NeRFs have been applied to graphics, vision, and robotics, problems with slow rendering speed and characteristic visual artifacts prevent adoption in many use cases. In this work, we investigate combining an autoencoder (AE) with a NeRF, in which latent features (instead of colours) are rendered and then convolutionally decoded. The resulting latent-space NeRF can produce novel views with higher quality than standard colour-space NeRFs, as the AE can correct certain visual artifacts, while rendering over three times faster. Our work is orthogonal to other techniques for improving NeRF efficiency. Further, we can control the tradeoff between efficiency and image quality by shrinking the AE architecture, achieving over 13 times faster rendering with only a small drop in performance. We hope that our approach can form the basis of an efficient, yet high-fidelity, 3D scene representation for downstream tasks, especially when retaining differentiability is useful, as in many robotics scenarios requiring continual learning.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、複雑なシーンの高品質な新規ビュー合成が可能な強力な3次元表現であることが証明されている。 nerfはグラフィックス、視覚、ロボティクスに応用されているが、レンダリング速度の遅い問題や特徴的なビジュアルアーティファクトは、多くのユースケースで採用を妨げている。 本研究では,自動エンコーダ(AE)とNeRF(NeRF)を組み合わせることで,潜在特徴(色の代わりに)を描画し,畳み込み復号する。 結果として生じる潜在空間nerfは、aeが特定の視覚アーチファクトを3倍高速にレンダリングしながら修正できるため、標準的な色空間nerfよりも高品質な新しいビューを生成することができる。 我々の仕事は、nrf効率を改善する他の技術と直交している。 さらに、AEアーキテクチャを小さくすることで効率と画質のトレードオフを制御でき、少ない性能で13倍以上高速なレンダリングを実現することができる。 特に連続的な学習を必要とする多くのロボティクスシナリオにおいて、これらのアプローチは、下流タスクの効率的かつ高忠実な3次元シーン表現の基礎となることを期待する。

関連論文リスト

• NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections [57.63028964831785]
  最近の研究は、遠方の環境照明の詳細な明細な外観を描画するNeRFの能力を改善しているが、近い内容の一貫した反射を合成することはできない。 我々はこれらの問題をレイトレーシングに基づくアプローチで解決する。 このモデルでは、それぞれのカメラ線に沿った点における視界依存放射率を求めるために高価なニューラルネットワークをクエリする代わりに、これらの点から光を流し、NeRF表現を通して特徴ベクトルを描画します。
  論文  参考訳（メタデータ） (2024-05-23T17:59:57Z)
• GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields [12.92658687936068]
  我々は、GAN(Generative Adversarial Network)を利用して、現実的な画像を生成し、それを用いて、NeRFを用いた3次元シーン再構成におけるリアリズムを強化する。 逆微分器を用いてシーンのパッチ分布を学習し、ラディアンスフィールド再構成に対するフィードバックを提供する。 レンダリングアーティファクトは、マルチビューパスレンダリング制約を課すことで、基礎となる3D表現を直接修復する。
  論文  参考訳（メタデータ） (2023-06-09T17:12:35Z)
• Enhance-NeRF: Multiple Performance Evaluation for Neural Radiance Fields [2.5432277893532116]
  ニューラル・ラジアンス・フィールド(NeRF)は任意の視点からリアルな画像を生成することができる。 NeRFベースのモデルは、色付きの"fog"ノイズによって引き起こされる干渉問題の影響を受けやすい。 当社のアプローチはEnhance-NeRFと呼ばれ、低反射率と高反射率のオブジェクトの表示のバランスをとるためにジョイントカラーを採用している。
  論文  参考訳（メタデータ） (2023-06-08T15:49:30Z)
• NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes [56.31855837632735]
  我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。 最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
  論文  参考訳（メタデータ） (2023-03-16T16:06:03Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed Neural Radiance Fields [99.57774680640581]
  本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。 本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
  論文  参考訳（メタデータ） (2022-10-28T07:11:05Z)
• NeRFusion: Fusing Radiance Fields for Large-Scale Scene Reconstruction [50.54946139497575]
  我々は,NeRF と TSDF をベースとした核融合技術の利点を組み合わせて,大規模再構築とフォトリアリスティックレンダリングを実現する手法であるNeRFusion を提案する。 我々は,大規模な屋内・小規模の両方の物体シーンにおいて,NeRFの最先端性を達成し,NeRFや他の最近の手法よりも大幅に高速に再現できることを実証した。
  論文  参考訳（メタデータ） (2022-03-21T18:56:35Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)
• PlenOctrees for Real-time Rendering of Neural Radiance Fields [35.58442869498845]
  ニューラルラジアンスフィールド(NeRF)をリアルタイムにレンダリングする手法として,Octreeベースの3D表現であるPlenOctreesを提案する。 従来のNeRFよりも3000倍以上高速な150FPS以上の800x800画像のレンダリングが可能です。
  論文  参考訳（メタデータ） (2021-03-25T17:59:06Z)
• FastNeRF: High-Fidelity Neural Rendering at 200FPS [17.722927021159393]
  我々は,ハイエンドGPU上で200Hzの高忠実度画像をレンダリングするシステムであるFastNeRFを提案する。 提案手法は、元のNeRFアルゴリズムよりも3000倍高速で、NeRFを加速する既存の作業よりも少なくとも1桁高速である。
  論文  参考訳（メタデータ） (2021-03-18T17:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。