Fugu-MT 論文翻訳(概要): V4d: voxel for 4d novel view synthesis

論文の概要: V4d: voxel for 4d novel view synthesis

arxiv url: http://arxiv.org/abs/2205.14332v4
Date: Tue, 13 Aug 2024 15:43:26 GMT
ステータス: 翻訳完了
システム内更新日: 2024-08-14 23:45:34.471498
Title: V4d: voxel for 4d novel view synthesis
Title（参考訳）: V4d:4d新規ビュー合成のためのボクセル
Authors: Wanshui Gan, Hongbin Xu, Yi Huang, Shifeng Chen, Naoto Yokoya,
Abstract要約: 我々は、V4Dと略される4次元神経放射場をモデル化するために3D Voxelを使用し、3Dvoxelは2つのフォーマットを持つ。提案した LUTs ベースの改良モジュールは,計算コストの少ない性能向上を実現する。
参考スコア（独自算出の注目度）: 21.985228924523543
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Neural radiance fields have made a remarkable breakthrough in the novel view synthesis task at the 3D static scene. However, for the 4D circumstance (e.g., dynamic scene), the performance of the existing method is still limited by the capacity of the neural network, typically in a multilayer perceptron network (MLP). In this paper, we utilize 3D Voxel to model the 4D neural radiance field, short as V4D, where the 3D voxel has two formats. The first one is to regularly model the 3D space and then use the sampled local 3D feature with the time index to model the density field and the texture field by a tiny MLP. The second one is in look-up tables (LUTs) format that is for the pixel-level refinement, where the pseudo-surface produced by the volume rendering is utilized as the guidance information to learn a 2D pixel-level refinement mapping. The proposed LUTs-based refinement module achieves the performance gain with little computational cost and could serve as the plug-and-play module in the novel view synthesis task. Moreover, we propose a more effective conditional positional encoding toward the 4D data that achieves performance gain with negligible computational burdens. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance at a low computational cost.
Abstract（参考訳）: ニューラルレイディアンス場は3次元静的シーンにおける新しいビュー合成タスクにおいて画期的なブレークスルーをもたらした。しかし、4Dの状況(例えばダイナミックシーン)では、既存の手法の性能はニューラルネットワークの容量によって制限され、通常は多層パーセプトロンネットワーク(MLP)で使用される。本稿では,3次元ボクセルを用いて,V4Dと略される4次元神経放射場をモデル化する。 1つ目は、定期的に3D空間をモデル化し、標本化された局所的な3D特徴と時間指数を使って、密度場とテクスチャフィールドを小さなMLPでモデル化することである。第2の方法は、画素レベルの精細化のためのルックアップテーブル(LUT)フォーマットで、ボリュームレンダリングによって生成された擬似表面をガイダンス情報として利用して、2Dピクセルレベルの精細化マッピングを学習する。提案したLUTsベースの改良モジュールは,計算コストの少ない性能向上を実現し,新しいビュー合成タスクにおいてプラグイン・アンド・プレイモジュールとして機能する。また、4Dデータに対するより効率的な条件付き位置符号化を提案し、計算負荷を無視して性能向上を実現する。大規模実験により,提案手法は計算コストの低い最先端性能を実現することを示した。

関連論文リスト

Disentangled 4D Gaussian Splatting: Towards Faster and More Efficient Dynamic Scene Rendering [12.27734287104036]
2次元画像から動的シーンを合成する新アンタングルビュー合成(NVS)は重要な課題である。時間的および空間的変形を両立させる新しい表現・レンダリング手法であるDisentangled 4D Gaussianting(Disentangled4DGS)を導入する。提案手法は,3090 GPU上での1352times1014$の解像度で,343FPSの平均レンダリング速度を実現している。
論文参考訳（メタデータ） (2025-03-28T05:46:02Z)
DINeMo: Learning Neural Mesh Models with no 3D Annotations [7.21992608540601]
カテゴリーレベルの3D/6Dポーズ推定は、総合的な3Dシーン理解に向けた重要なステップである。最近の研究は、分析バイシンセサイザーの観点から、2Dおよび3Dタスクにアプローチするニューラルネットワークモデルについて検討している。疑似対応を利用して3次元アノテーションを使わずにトレーニングした新しいニューラルネットワークモデルであるDINeMoを提案する。
論文参考訳（メタデータ） (2025-03-26T04:23:53Z)
EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文参考訳（メタデータ） (2025-03-26T02:47:27Z)
DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文参考訳（メタデータ） (2024-06-17T21:15:13Z)
LN3Diff: Scalable Latent Neural Fields Diffusion for Speedy 3D Generation [73.36690511083894]
本稿では,LN3Diffと呼ばれる新しいフレームワークを導入し,統一された3次元拡散パイプラインに対処する。提案手法では,3次元アーキテクチャと変分オートエンコーダを用いて,入力画像を構造化されたコンパクトな3次元潜在空間に符号化する。 3次元生成のためのShapeNetの最先端性能を実現し,モノクロ3次元再構成と条件付き3次元生成において優れた性能を示す。
論文参考訳（メタデータ） (2024-03-18T17:54:34Z)
SLS4D: Sparse Latent Space for 4D Novel View Synthesis [13.73892118198658]
既存の動的NeRFは通常、変形場に合うように局所的な密度の格子を利用する。 4次元空間は本質的にスパースである。学習可能なスパース潜在空間(SLS4D)を用いて4次元シーンを表現することを提案する。
論文参考訳（メタデータ） (2023-12-15T12:31:20Z)
Feature 3DGS: Supercharging 3D Gaussian Splatting to Enable Distilled Feature Fields [54.482261428543985]
ニューラル・ラジアンス・フィールドを使用する手法は、新しいビュー合成のような従来のタスクに汎用的である。 3次元ガウシアンスプラッティングは, 実時間ラディアンス場レンダリングにおける最先端の性能を示した。この問題を効果的に回避するために,アーキテクチャとトレーニングの変更を提案する。
論文参考訳（メタデータ） (2023-12-06T00:46:30Z)
PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文参考訳（メタデータ） (2023-10-12T17:59:57Z)
Smaller3d: Smaller Models for 3D Semantic Segmentation Using Minkowski Engine and Knowledge Distillation Methods [0.0]
本稿では, 知識蒸留技術, 特に3次元深層学習におけるスパーステンソルを応用して, 性能を維持しつつ, モデルサイズを小さくする手法を提案する。我々は,異なるスパース畳み込みNNの最先端モデルの性能をシミュレートするために,標準的な手法や様々な損失の組み合わせを含む異なる損失関数を分析し,目的を定めている。
論文参考訳（メタデータ） (2023-05-04T22:19:25Z)
NeRFMeshing: Distilling Neural Radiance Fields into Geometrically-Accurate 3D Meshes [56.31855837632735]
我々は、NeRF駆動のアプローチで容易に3次元表面を再構成できるコンパクトで柔軟なアーキテクチャを提案する。最後の3Dメッシュは物理的に正確で、デバイスアレイ上でリアルタイムでレンダリングできます。
論文参考訳（メタデータ） (2023-03-16T16:06:03Z)
Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
動的シーンを扱うための高速な変形可能な放射場法を提案する。本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
論文参考訳（メタデータ） (2022-06-15T17:49:08Z)
VoxGRAF: Fast 3D-Aware Image Synthesis with Sparse Voxel Grids [42.74658047803192]
最先端の3D認識生成モデルは座標に基づくパラメータ化3Dラディアンス場に依存している。既存のアプローチでは、しばしば解像度の低い特徴写像をレンダリングし、それをアップサンプリングネットワークで処理して最終的な画像を得る。既存の手法とは対照的に,本手法では完全な3Dシーンを生成するために,単一の前方通過しか必要としない。
論文参考訳（メタデータ） (2022-06-15T17:44:22Z)
3D-aware Image Synthesis via Learning Structural and Textural Representations [39.681030539374994]
生成モデルを作成することは、2D画像空間と3D物理世界を橋渡しするが、まだ難しい。近年、GAN(Generative Adversarial Network)とNeRF(Neural Radiance Field)という3次元座標をピクセル値にマッピングする手法が試みられている。本稿では,構造表現とテクスチャ表現を明示的に学習することで,高忠実度3次元画像合成のための新しいフレームワーク,VolumeGANを提案する。
論文参考訳（メタデータ） (2021-12-20T18:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。