論文の概要: One is All: Bridging the Gap Between Neural Radiance Fields Architectures with Progressive Volume Distillation

• arxiv url: http://arxiv.org/abs/2211.15977v2
• Date: Wed, 30 Nov 2022 01:40:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 15:10:30.474752
• Title: One is All: Bridging the Gap Between Neural Radiance Fields Architectures with Progressive Volume Distillation
• Title（参考訳）: ひとつは、プログレッシブボリューム蒸留によるニューラルラジアンスフィールドアーキテクチャ間のギャップを埋めること
• Authors: Shuangkang Fang, Weixin Xu, Heng Wang, Yi Yang, Yufeng Wang, Shuchang Zhou
• Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)法は3次元シーンのコンパクトで高品質で多目的な表現として有効であることが証明されている。 様々なニューラルアーキテクチャがNeRFの中核構造を競い合っており、例えば、平らなMulti-Layer Perceptron(MLP)、スペース、低ランクテンソル、ハッシュテーブル、それらの構成などがある。 本稿では,任意の変換が可能な系統蒸留法であるプログレッシブボリューム蒸留(PVD)を提案する。
• 参考スコア（独自算出の注目度）: 26.144617488670963
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) methods have proved effective as compact, high-quality and versatile representations for 3D scenes, and enable downstream tasks such as editing, retrieval, navigation, etc. Various neural architectures are vying for the core structure of NeRF, including the plain Multi-Layer Perceptron (MLP), sparse tensors, low-rank tensors, hashtables and their compositions. Each of these representations has its particular set of trade-offs. For example, the hashtable-based representations admit faster training and rendering but their lack of clear geometric meaning hampers downstream tasks like spatial-relation-aware editing. In this paper, we propose Progressive Volume Distillation (PVD), a systematic distillation method that allows any-to-any conversions between different architectures, including MLP, sparse or low-rank tensors, hashtables and their compositions. PVD consequently empowers downstream applications to optimally adapt the neural representations for the task at hand in a post hoc fashion. The conversions are fast, as distillation is progressively performed on different levels of volume representations, from shallower to deeper. We also employ special treatment of density to deal with its specific numerical instability problem. Empirical evidence is presented to validate our method on the NeRF-Synthetic, LLFF and TanksAndTemples datasets. For example, with PVD, an MLP-based NeRF model can be distilled from a hashtable-based Instant-NGP model at a 10X~20X faster speed than being trained the original NeRF from scratch, while achieving a superior level of synthesis quality. Code is available at https://github.com/megvii-research/AAAI2023-PVD.
• Abstract（参考訳）: neural radiance fields(nerf)メソッドは、3dシーンのコンパクトで高品質で多用途な表現として有効であり、編集、検索、ナビゲーションなどの下流タスクを可能にする。 様々なニューラルアーキテクチャがnerfのコア構造を競い合っており、プレーンマルチ層パーセプトロン(mlp)、スパーステンソル、低ランクテンソル、ハッシュテーブル、それらの構成がある。 これらの表現は、それぞれが特定のトレードオフを持つ。 例えば、ハッシュテーブルベースの表現は、より高速なトレーニングとレンダリングを許容するが、その明確な幾何学的意味の欠如は、空間関係認識編集のような下流のタスクを妨げている。 本稿では, MLP, スパーステンソル, 低ランクテンソル, ハッシュテーブルおよびそれらの構成を含む, 異なるアーキテクチャ間の任意の変換を可能にする, 系統的蒸留法であるプログレッシブボリューム蒸留(PVD)を提案する。 PVDは、ダウンストリームアプリケーションに対して、手元にあるタスクのニューラル表現をポストホック方式で最適に適応させる権限を与える。 蒸留は、浅いものから深いものまで、様々なレベルの体積表現で徐々に行われるため、変換は高速である。 また,その特異な数値不安定問題に対処するために,密度の特殊処理も行う。 NeRF合成, LLFF, TanksAndTemplesデータセット上で, 実験手法の実証実験を行った。 例えば、pvdでは、mlpベースのnerfモデルをハッシュテーブルベースのinstant-ngpモデルから、元のnerfをスクラッチからトレーニングするよりも10倍から20倍の速度で蒸留することができる。 コードはhttps://github.com/megvii-research/aaai2023-pvdで入手できる。

関連論文リスト

• Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections [25.154665328053333]
  Splatfacto-Wは、ガウスごとのニューラルカラー特徴と画像ごとの外観をレンダリングプロセスに組み込む、自明なアプローチである。 提案手法は,3DGSに比べて平均5.3dBのPak Signal-to-Noise Ratio(PSNR)を向上し,NeRF法に比べて150倍のトレーニング速度を向上し,3DGSと同様のレンダリング速度を実現する。
  論文  参考訳（メタデータ） (2024-07-17T04:02:54Z)
• N-BVH: Neural ray queries with bounding volume hierarchies [51.430495562430565]
  3Dコンピュータグラフィックスでは、シーンのメモリ使用量の大部分がポリゴンとテクスチャによるものである。 N-BVHは3次元の任意の光線クエリに応答するように設計されたニューラル圧縮アーキテクチャである。 本手法は, 視認性, 深度, 外観特性を忠実に近似する。
  論文  参考訳（メタデータ） (2024-05-25T13:54:34Z)
• ToddlerDiffusion: Interactive Structured Image Generation with Cascaded Schrödinger Bridge [63.00793292863]
  ToddlerDiffusionは、RGB画像生成の複雑なタスクを、よりシンプルで解釈可能なステージに分解するための新しいアプローチである。 提案手法はToddler Diffusionと呼ばれ,それぞれが中間表現を生成する責務を担っている。 ToddlerDiffusionは、常に最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2023-11-24T15:20:01Z)
• VQ-NeRF: Vector Quantization Enhances Implicit Neural Representations [25.88881764546414]
  VQ-NeRFは、ベクトル量子化による暗黙の神経表現を強化するための効率的なパイプラインである。 圧縮および原スケールの両スケールでNeRFモデルを同時に最適化する,革新的なマルチスケールNeRFサンプリング方式を提案する。 我々は3次元再構成の幾何学的忠実度とセマンティックコヒーレンスを改善するためにセマンティックロス関数を組み込んだ。
  論文  参考訳（メタデータ） (2023-10-23T01:41:38Z)
• Adaptive Multi-NeRF: Exploit Efficient Parallelism in Adaptive Multiple Scale Neural Radiance Field Rendering [3.8200916793910973]
  ニューラル・ラジアンス・フィールド(NeRF)の最近の進歩は、3次元シーンの出現を暗黙のニューラルネットワークとして表す重要な可能性を示している。 しかし、長いトレーニングとレンダリングのプロセスは、リアルタイムレンダリングアプリケーションにこの有望なテクニックを広く採用することを妨げる。 本稿では,大規模シーンのニューラルネットワークレンダリングプロセスの高速化を目的とした適応型マルチNeRF手法を提案する。
  論文  参考訳（メタデータ） (2023-10-03T08:34:49Z)
• Progressive Fourier Neural Representation for Sequential Video Compilation [75.43041679717376]
  連続学習によって動機づけられたこの研究は、シーケンシャルエンコーディングセッションを通じて、複数の複雑なビデオデータに対して、ニューラル暗黙表現を蓄積し、転送する方法を研究する。 本稿では,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という,FFNR(Progressive Fourier Neural Representation)という手法を提案する。 我々は,UVG8/17とDAVIS50のビデオシーケンスベンチマークでPFNR法を検証し,強力な連続学習ベースラインよりも優れた性能向上を実現した。
  論文  参考訳（メタデータ） (2023-06-20T06:02:19Z)
• Progressive Volume Distillation with Active Learning for Efficient NeRF Architecture Conversion [27.389511043400635]
  ニューラルフィールド(NeRF)は3次元シーンの実用的で汎用的な表現として広く採用されている。 本稿では, 系統的蒸留法として, アクティブラーニングを用いたプログレッシブボリューム蒸留法 (PVD-AL) を提案する。 PVD-ALは、各構造を2つの部分に分解し、より浅い体積表現からより深い体積表現への蒸留を徐々に行う。
  論文  参考訳（メタデータ） (2023-04-08T13:59:18Z)
• AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware Training [100.33713282611448]
  我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。 本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。 私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
  論文  参考訳（メタデータ） (2022-11-17T17:22:28Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。