論文の概要: Dynamic PlenOctree for Adaptive Sampling Refinement in Explicit NeRF

• arxiv url: http://arxiv.org/abs/2307.15333v1
• Date: Fri, 28 Jul 2023 06:21:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 13:31:31.432310
• Title: Dynamic PlenOctree for Adaptive Sampling Refinement in Explicit NeRF
• Title（参考訳）: 明示的NeRFにおける適応サンプリング微細化のための動的PlenOctree
• Authors: Haotian Bai, Yiqi Lin, Yize Chen, Lin Wang
• Abstract要約: PlenOctree DOTは,シーンの複雑さの変化に対応するために,サンプル分布を適応的に改良する。 POTと比較して、私たちのDOTは視覚的品質を高め、パラメータを55.15ドル/68.84%以上削減し、NeRF合成とタンクにそれぞれ1.7/1.9 FPSを提供する。
• 参考スコア（独自算出の注目度）: 6.135925201075925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The explicit neural radiance field (NeRF) has gained considerable interest for its efficient training and fast inference capabilities, making it a promising direction such as virtual reality and gaming. In particular, PlenOctree (POT)[1], an explicit hierarchical multi-scale octree representation, has emerged as a structural and influential framework. However, POT's fixed structure for direct optimization is sub-optimal as the scene complexity evolves continuously with updates to cached color and density, necessitating refining the sampling distribution to capture signal complexity accordingly. To address this issue, we propose the dynamic PlenOctree DOT, which adaptively refines the sample distribution to adjust to changing scene complexity. Specifically, DOT proposes a concise yet novel hierarchical feature fusion strategy during the iterative rendering process. Firstly, it identifies the regions of interest through training signals to ensure adaptive and efficient refinement. Next, rather than directly filtering out valueless nodes, DOT introduces the sampling and pruning operations for octrees to aggregate features, enabling rapid parameter learning. Compared with POT, our DOT outperforms it by enhancing visual quality, reducing over $55.15$/$68.84\%$ parameters, and providing 1.7/1.9 times FPS for NeRF-synthetic and Tanks $\&$ Temples, respectively. Project homepage:https://vlislab22.github.io/DOT. [1] Yu, Alex, et al. "Plenoctrees for real-time rendering of neural radiance fields." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021.
• Abstract（参考訳）: 明示的なニューラル放射場(NeRF)は、その効率的なトレーニングと高速推論能力にかなりの関心を集めており、仮想現実やゲームのような有望な方向性となっている。 特に、明示的な階層的マルチスケールオクツリー表現であるPlenOctree(POT)[1]は、構造的かつ影響力のあるフレームワークとして現れている。 しかし、直接最適化のためのPOTの固定構造は、キャッシュされた色と密度の更新によってシーンの複雑さが継続的に進化し、信号の複雑さを捉えるためにサンプリング分布を精細化する必要があるため、サブ最適である。 そこで本稿では,シーンの複雑さの変化に対応するためにサンプル分布を適応的に洗練する動的plenoctree dotを提案する。 具体的には、反復レンダリングプロセス中に簡潔で新しい階層的特徴融合戦略を提案する。 まず、適応的かつ効率的な洗練を確保するために、トレーニング信号を通して関心領域を特定する。 次に、DOTは、価値のないノードを直接フィルタリングする代わりに、オクツリーのサンプリングとプルーニング操作を導入して、機能を集約し、高速なパラメータ学習を可能にする。 POTと比較して、私たちのDOTは、視覚的品質を高め、55.15$/$68.84\%$パラメータを削減し、NeRF合成とタンクにそれぞれ1.7/1.9 FPSを提供する。 プロジェクトホームページ:https://vlislab22.github.io/dot。 [1]ユー、アレックス、アルなど。 「神経放射場のリアルタイムレンダリングのためのプレノクツリー」 IEEE/CVF国際コンピュータビジョン会議に参加して 2021.

関連論文リスト

• Efficient NeRF Optimization -- Not All Samples Remain Equally Hard [9.404889815088161]
  ニューラルレイディアンスフィールド(NeRF)の効率的なトレーニングのためのオンラインハードサンプルマイニングの応用を提案する。 NeRFモデルは、多くの3D再構成およびレンダリングタスクに対して最先端の品質を生み出すが、かなりの計算資源を必要とする。
  論文  参考訳（メタデータ） (2024-08-06T13:49:01Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• PNeRFLoc: Visual Localization with Point-based Neural Radiance Fields [54.8553158441296]
  統一された点ベース表現に基づく新しい視覚的ローカライゼーションフレームワーク PNeRFLoc を提案する。 一方、PNeRFLocは2次元特徴点と3次元特徴点をマッチングして初期ポーズ推定をサポートする。 一方、レンダリングベースの最適化を用いた新しいビュー合成によるポーズ改善も実現している。
  論文  参考訳（メタデータ） (2023-12-17T08:30:00Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• Urban Radiance Field Representation with Deformable Neural Mesh Primitives [41.104140341641006]
  変形可能なニューラルメッシュプリミティブ(Deformable Neural Mesh Primitive, DNMP)は、古典的メッシュ表現の柔軟でコンパクトなニューラルバリアントである。 我々の表現は高速レンダリング(2.07ms/1kピクセル)と低ピークメモリ(110MB/1kピクセル)を可能にする。 我々は、33$times$でバニラNeRFより高速に動作でき、高度に最適化されたInstant-NGP(0.61対0.71ms/1kピクセル)に匹敵する軽量版を示す。
  論文  参考訳（メタデータ） (2023-07-20T11:24:55Z)
• Fourier PlenOctrees for Dynamic Radiance Field Rendering in Real-time [43.0484840009621]
  Neural Radiance Field (NeRF)のような暗黙の神経表現は、主にマルチビュー設定下でキャプチャされた静的オブジェクトのモデリングに焦点を当てている。 本稿では,FVV(Fourier PlenOctree)技術を用いて,FVV(Fourier PlenOctree)設定下で撮影した動的シーンの効率的なニューラルモデリングとリアルタイムレンダリングを実現する。 提案手法は,元のNeRFよりも3000倍高速で,SOTAよりも1桁の加速速度を持つことを示す。
  論文  参考訳（メタデータ） (2022-02-17T11:57:01Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• PnP-DETR: Towards Efficient Visual Analysis with Transformers [146.55679348493587]
  近年、DeTRはトランスフォーマーを用いたソリューションビジョンタスクの先駆者であり、画像特徴マップを直接オブジェクト結果に変換する。 最近の変圧器を用いた画像認識モデルとTTは、一貫した効率向上を示す。
  論文  参考訳（メタデータ） (2021-09-15T01:10:30Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)
• NeRF in detail: Learning to sample for view synthesis [104.75126790300735]
  ニューラルレイディアンス場(NeRF)法は目覚ましい新しいビュー合成を実証している。 この作業では、バニラ粗大なアプローチの明確な制限に対処します -- パフォーマンスに基づいており、手元にあるタスクのエンドツーエンドをトレーニングしていません。 我々は、サンプルの提案と、そのネットワークにおける重要性を学習し、そのニューラルネットワークアーキテクチャに対する複数の代替案を検討し比較する、微分可能なモジュールを導入する。
  論文  参考訳（メタデータ） (2021-06-09T17:59:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。