論文の概要: PVD-AL: Progressive Volume Distillation with Active Learning for
Efficient Conversion Between Different NeRF Architectures
- arxiv url: http://arxiv.org/abs/2304.04012v1
- Date: Sat, 8 Apr 2023 13:59:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 18:15:34.666430
- Title: PVD-AL: Progressive Volume Distillation with Active Learning for
Efficient Conversion Between Different NeRF Architectures
- Title(参考訳): PVD-AL: 異なるNeRFアーキテクチャ間の効率的な変換のためのアクティブラーニングによるプログレッシブボリューム蒸留
- Authors: Shuangkang Fang, Yufeng Wang, Yi Yang, Weixin Xu, Heng Wang, Wenrui
Ding, Shuchang Zhou
- Abstract要約: PVD-AL (Progressive Volume Distillation with Active Learning) は, 任意の変換が可能な蒸留法である。
PVD-ALは各構造を2つの部分に分解し、より浅い体積表現からより深い体積表現への蒸留を徐々に行う。
3段階のアクティブラーニング技術は蒸留プロセス中に連続的なフィードバックを与え、高性能な結果をもたらす。
- 参考スコア(独自算出の注目度): 29.85325952738878
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Radiance Fields (NeRF) have been widely adopted as practical and
versatile representations for 3D scenes, facilitating various downstream tasks.
However, different architectures, including plain Multi-Layer Perceptron (MLP),
Tensors, low-rank Tensors, Hashtables, and their compositions, have their
trade-offs. For instance, Hashtables-based representations allow for faster
rendering but lack clear geometric meaning, making spatial-relation-aware
editing challenging. To address this limitation and maximize the potential of
each architecture, we propose Progressive Volume Distillation with Active
Learning (PVD-AL), a systematic distillation method that enables any-to-any
conversions between different architectures. PVD-AL decomposes each structure
into two parts and progressively performs distillation from shallower to deeper
volume representation, leveraging effective information retrieved from the
rendering process. Additionally, a Three-Levels of active learning technique
provides continuous feedback during the distillation process, resulting in
high-performance results. Empirical evidence is presented to validate our
method on multiple benchmark datasets. For example, PVD-AL can distill an
MLP-based model from a Hashtables-based model at a 10~20X faster speed and
0.8dB~2dB higher PSNR than training the NeRF model from scratch. Moreover,
PVD-AL permits the fusion of diverse features among distinct structures,
enabling models with multiple editing properties and providing a more efficient
model to meet real-time requirements. Project website:http://sk-fun.fun/PVD-AL.
- Abstract(参考訳): neural radiance field (nerf) は3dシーンの実用的かつ汎用的な表現として広く採用され、様々な下流タスクが容易になっている。
しかし、平易な多層パーセプトロン(mlp)、テンソル、低ランクテンソル、ハッシュテーブル、それらの構成を含む異なるアーキテクチャはトレードオフを持っている。
例えば、Hashtablesベースの表現はより高速なレンダリングを可能にするが、幾何学的意味が明確でないため、空間的関連性を認識した編集が困難である。
この制限に対処し、各アーキテクチャのポテンシャルを最大化するために、異なるアーキテクチャ間の任意の変換を可能にする体系的な蒸留法であるプログレッシブボリューム蒸留とアクティブラーニング(PVD-AL)を提案する。
PVD-ALは、各構造を2つの部分に分解し、より浅いものからより深いボリューム表現へと徐々に蒸留を行い、レンダリングプロセスから取得した有効な情報を活用する。
さらに,3段階の能動学習技術により蒸留プロセス中に連続的なフィードバックが得られ,高い結果が得られた。
複数のベンチマークデータセットでこの方法を検証するために実証的な証拠が提示されます。
例えば、PVD-ALは、Hashtablesベースのモデルから10~20倍高速かつ0.8dB~2dB高いPSNRでMLPベースのモデルを蒸留することができる。
さらに、PVD-ALは異なる構造間の多様な特徴の融合を可能にし、複数の編集特性を持つモデルを可能にし、リアルタイム要求を満たすためのより効率的なモデルを提供する。
プロジェクトウェブサイト:http://sk-fun.fun/PVD-AL
関連論文リスト
- One-Step Diffusion Distillation via Deep Equilibrium Models [64.11782639697883]
本稿では,拡散モデルを初期雑音から得られた画像に直接蒸留する簡易かつ効果的な方法を提案する。
本手法は,拡散モデルからノイズ/イメージペアのみによる完全オフライントレーニングを可能にする。
GET は FID スコアの点で 5 倍の ViT と一致するので,DEC アーキテクチャがこの能力に不可欠であることを示す。
論文 参考訳(メタデータ) (2023-12-12T07:28:40Z) - AM-RADIO: Agglomerative Model -- Reduce All Domains Into One [51.98777863920393]
このアプローチをAM-RADIO(Agglomerative Model -- すべてのドメインを1に還元する)と名付けます。
教師モデルより少なくとも7倍高速な新しいアーキテクチャ(E-RADIO)を開発した。
包括的なベンチマークプロセスでは、ImageNet分類、ADE20kセマンティックセグメンテーション、COCOオブジェクト検出、LLaVa-1.5フレームワークなどの下流タスクをカバーしています。
論文 参考訳(メタデータ) (2023-12-10T17:07:29Z) - SimDistill: Simulated Multi-modal Distillation for BEV 3D Object
Detection [56.24700754048067]
多視点カメラによる3Dオブジェクト検出は低コストで普及しているが、カメラデータのみから正確に3D形状を推定することは依然として困難である。
モデルアーキテクチャと蒸留戦略を慎重に構築し,シミュレートされたマルチモーダル蒸留(SimDistill)法を提案する。
我々のSimDistillは、コスト効率のよいカメラのみの配置を維持しながら、3Dオブジェクト検出のためのより良い特徴表現を学習することができる。
論文 参考訳(メタデータ) (2023-03-29T16:08:59Z) - One is All: Bridging the Gap Between Neural Radiance Fields
Architectures with Progressive Volume Distillation [26.144617488670963]
ニューラル・ラジアンス・フィールド(NeRF)法は3次元シーンのコンパクトで高品質で多目的な表現として有効であることが証明されている。
様々なニューラルアーキテクチャがNeRFの中核構造を競い合っており、例えば、平らなMulti-Layer Perceptron(MLP)、スペース、低ランクテンソル、ハッシュテーブル、それらの構成などがある。
本稿では,任意の変換が可能な系統蒸留法であるプログレッシブボリューム蒸留(PVD)を提案する。
論文 参考訳(メタデータ) (2022-11-29T07:21:15Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳(メタデータ) (2022-03-24T07:26:29Z) - Modeling Accurate Human Activity Recognition for Embedded Devices Using
Multi-level Distillation [5.746224188845082]
IMUセンサに基づくヒューマンアクティビティ認識(HAR)はユビキタスコンピューティングにおいて欠かせない領域である。
組込みデバイスをネイティブにサポートした深部畳み込み型HARモデルを構築するために,多層蒸留を用いたプラグアンドプレイHARモデリングパイプラインを提案する。
SMLDistによって構築されたMobileNet V3モデルを用いて,様々な最先端HARフレームワークの組込みプラットフォームにおける精度,F1マクロスコア,エネルギーコストを比較した。
論文 参考訳(メタデータ) (2021-07-06T09:01:41Z) - BPLF: A Bi-Parallel Linear Flow Model for Facial Expression Generation
from Emotion Set Images [0.0]
フローベース生成モデルはディープラーニング生成モデルであり、データ分布を明示的に学習することでデータを生成する能力を得る。
本稿では、感情セット画像から顔の感情を生成するための双方向線形フローモデルを構築した。
本稿では、現在の顔の感情画像の公開データセットを整理し、新しい感情データを作成し、このデータセットを通してモデルを検証した。
論文 参考訳(メタデータ) (2021-05-27T09:37:09Z) - Multi-view Depth Estimation using Epipolar Spatio-Temporal Networks [87.50632573601283]
一つのビデオから多視点深度を推定する新しい手法を提案する。
提案手法は,新しいEpipolar Spatio-Temporal Transformer(EST)を用いて時間的コヒーレントな深度推定を行う。
最近のMixture-of-Expertsモデルにインスパイアされた計算コストを削減するため、我々はコンパクトなハイブリッドネットワークを設計する。
論文 参考訳(メタデータ) (2020-11-26T04:04:21Z) - Accurate and Lightweight Image Super-Resolution with Model-Guided Deep
Unfolding Network [63.69237156340457]
我々は、モデル誘導深部展開ネットワーク(MoG-DUN)と呼ばれるSISRに対する説明可能なアプローチを提示し、提唱する。
MoG-DUNは正確(エイリアスを少なくする)、計算効率(モデルパラメータを減らした)、多用途(多重劣化を処理できる)である。
RCAN, SRDNF, SRFBNを含む既存の最先端画像手法に対するMoG-DUN手法の優位性は、いくつかの一般的なデータセットと様々な劣化シナリオに関する広範な実験によって実証されている。
論文 参考訳(メタデータ) (2020-09-14T08:23:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。