論文の概要: UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2206.11952v1
• Date: Thu, 23 Jun 2022 19:57:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-27 14:26:04.275905
• Title: UNeRF: Time and Memory Conscious U-Shaped Network for Training Neural Radiance Fields
• Title（参考訳）: UNeRF: ニューラルネットワーク分野のトレーニングのための時間と記憶に関するU字型ネットワーク
• Authors: Abiramy Kuganesan, Shih-yang Su, James J. Little, Helge Rhodin
• Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成とシーン再構成のための再構築の詳細を増大させる。 しかし、そのようなニューラルネットワークの解像度とモデルフリー性の向上は、高いトレーニング時間と過剰なメモリ要求のコストが伴う。 本研究では,近隣のサンプル点間で評価を部分的に共有することで,NeRFのサンプルベース計算の冗長性を利用する手法を提案する。
• 参考スコア（独自算出の注目度）: 16.826691448973367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRFs) increase reconstruction detail for novel view synthesis and scene reconstruction, with applications ranging from large static scenes to dynamic human motion. However, the increased resolution and model-free nature of such neural fields come at the cost of high training times and excessive memory requirements. Recent advances improve the inference time by using complementary data structures yet these methods are ill-suited for dynamic scenes and often increase memory consumption. Little has been done to reduce the resources required at training time. We propose a method to exploit the redundancy of NeRF's sample-based computations by partially sharing evaluations across neighboring sample points. Our UNeRF architecture is inspired by the UNet, where spatial resolution is reduced in the middle of the network and information is shared between adjacent samples. Although this change violates the strict and conscious separation of view-dependent appearance and view-independent density estimation in the NeRF method, we show that it improves novel view synthesis. We also introduce an alternative subsampling strategy which shares computation while minimizing any violation of view invariance. UNeRF is a plug-in module for the original NeRF network. Our major contributions include reduction of the memory footprint, improved accuracy, and reduced amortized processing time both during training and inference. With only weak assumptions on locality, we achieve improved resource utilization on a variety of neural radiance fields tasks. We demonstrate applications to the novel view synthesis of static scenes as well as dynamic human shape and motion.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は、新しいビュー合成とシーン再構成のための再構築の詳細を増大させ、大きな静的シーンから動的な人間の動きまで応用する。 しかし、そのようなニューラルフィールドの分解能とモデルフリーの性質は、高いトレーニング時間と過剰なメモリ要求のコストにかかっている。 近年では補完的なデータ構造を用いて推論時間を改善しているが,これらの手法は動的シーンに不適であり,メモリ消費の増加も少なくない。 訓練時間に必要なリソースを減らすためにはほとんど行われていない。 本稿では,nerfのサンプルベース計算の冗長性を,隣接するサンプルポイント間で部分的な評価共有によって活用する手法を提案する。 我々のUNeRFアーキテクチャはUNetにインスパイアされ、ネットワークの中央で空間分解能が減少し、隣接するサンプル間で情報を共有する。 この変化は、NeRF法におけるビュー依存の外観とビュー非依存の密度推定の厳密かつ意識的な分離に反するが、新規なビュー合成を改善することを示す。 また、ビュー不変性の違反を最小限に抑えながら計算を共有する代替サブサンプリング戦略を導入する。 UNeRFは元々のNeRFネットワーク用のプラグインモジュールである。 私たちの大きな貢献は、メモリフットプリントの削減、精度の向上、トレーニングと推論の両方における償却処理時間の短縮です。 局所性に関する仮定が弱いだけで、様々なニューラルラディアンスフィールドタスクにおける資源利用の改善を実現する。 静的なシーンの新規なビュー合成と動的な人間の形状と動きへの応用を実証する。

関連論文リスト

• Few-shot NeRF by Adaptive Rendering Loss Regularization [78.50710219013301]
  スパース入力を用いた新しいビュー合成はニューラルラジアンス場(NeRF)に大きな課題をもたらす 近年の研究では、位置レンダリングの周波数規則化は、数発のNeRFに対して有望な結果が得られることが示されている。 我々は,AR-NeRFと呼ばれる数発のNeRFに対して適応レンダリング損失正規化を提案する。
  論文  参考訳（メタデータ） (2024-10-23T13:05:26Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
  VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。 圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。 我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
  論文  参考訳（メタデータ） (2023-10-23T01:41:38Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• ActiveNeRF: Learning where to See with Uncertainty Estimation [36.209200774203005]
  近年,Neural Radiance Fields (NeRF) は,3次元シーンの再構成や,スパース2次元画像からの新規ビューの合成に有望な性能を示した。 本稿では,制約のある入力予算で3Dシーンをモデル化することを目的とした,新しい学習フレームワークであるActiveNeRFを提案する。
  論文  参考訳（メタデータ） (2022-09-18T12:09:15Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Towards Lightweight Controllable Audio Synthesis with Conditional Implicit Neural Representations [10.484851004093919]
  入射神経表現(英語: Implicit Neural representations、INR)は、低次元関数を近似するニューラルネットワークである。 本研究では、音声合成のための生成フレームワークの軽量バックボーンとして、CINR(Conditional Implicit Neural Representations)の可能性に光を当てた。
  論文  参考訳（メタデータ） (2021-11-14T13:36:18Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。