論文の概要: Mixed Neural Voxels for Fast Multi-view Video Synthesis
- arxiv url: http://arxiv.org/abs/2212.00190v2
- Date: Fri, 6 Oct 2023 22:11:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 15:38:06.484836
- Title: Mixed Neural Voxels for Fast Multi-view Video Synthesis
- Title（参考訳）: 高速マルチビュービデオ合成のための混合ニューラルネットワークボクセル
- Authors: Feng Wang, Sinan Tan, Xinghang Li, Zeyue Tian, Yafei Song and Huaping
Liu
- Abstract要約: 高速なトレーニング速度と競争性のあるレンダリング特性を持つ動的シーンをよりよく表現するための,MixVoxels という新しい手法を提案する。
提案したMixVoxelsは、4D動的シーンを静的および動的ボクセルの混合として表現し、異なるネットワークで処理する。
300コマビデオの入力によるダイナミックシーンの15分間のトレーニングにより、MixVoxelsは従来の方法よりも優れたPSNRを実現している。
- 参考スコア（独自算出の注目度）: 16.25013978657888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Synthesizing high-fidelity videos from real-world multi-view input is
challenging because of the complexities of real-world environments and highly
dynamic motions. Previous works based on neural radiance fields have
demonstrated high-quality reconstructions of dynamic scenes. However, training
such models on real-world scenes is time-consuming, usually taking days or
weeks. In this paper, we present a novel method named MixVoxels to better
represent the dynamic scenes with fast training speed and competitive rendering
qualities. The proposed MixVoxels represents the 4D dynamic scenes as a mixture
of static and dynamic voxels and processes them with different networks. In
this way, the computation of the required modalities for static voxels can be
processed by a lightweight model, which essentially reduces the amount of
computation, especially for many daily dynamic scenes dominated by the static
background. To separate the two kinds of voxels, we propose a novel variation
field to estimate the temporal variance of each voxel. For the dynamic voxels,
we design an inner-product time query method to efficiently query multiple time
steps, which is essential to recover the high-dynamic motions. As a result,
with 15 minutes of training for dynamic scenes with inputs of 300-frame videos,
MixVoxels achieves better PSNR than previous methods. Codes and trained models
are available at https://github.com/fengres/mixvoxels
- Abstract（参考訳）: 実世界のマルチビュー入力から高忠実度ビデオを合成することは、現実の環境の複雑さと非常にダイナミックな動きのために困難である。
従来の神経放射場に基づく研究は、動的シーンの高品質な再構成を実証してきた。
しかし、そのようなモデルを実世界のシーンでトレーニングするのには通常数日から数週間かかる。
本稿では,高速なトレーニング速度と競争性を有する動的シーンをよりよく表現するためのmixvoxelsという新しい手法を提案する。
提案したMixVoxelsは、4D動的シーンを静的および動的ボクセルの混合として表現し、異なるネットワークで処理する。
このようにして、静的なボクセルに必要なモダリティの計算を軽量なモデルで行うことができ、特に静的な背景が支配する多くの動的シーンにおいて、計算の量を削減することができる。
2種類のボクセルを分離するために,各ボクセルの時間的ばらつきを推定する新しい変動場を提案する。
動的ボクセルでは,複数の時間ステップを効率的に問合せするための内積時間問合せ手法を設計し,高ダイナミックな動作の復元に不可欠である。
その結果,300コマビデオの入力によるダイナミックシーンのトレーニング15分で,MixVoxelsは従来の手法よりも優れたPSNRを実現することができた。
コードとトレーニングされたモデルはhttps://github.com/fengres/mixvoxelsで入手できる。
関連論文リスト
- Multi-Level Neural Scene Graphs for Dynamic Urban Environments [64.26401304233843]
本稿では, 動的都市環境に対する新しい分解可能放射場アプローチを提案する。
本稿では,数百の高速移動物体を含む数十のシーケンスから数千の画像にスケールする多段階ニューラルシーングラフ表現を提案する。
論文 参考訳（メタデータ） (2024-03-29T21:52:01Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳（メタデータ） (2023-11-30T18:59:11Z) - OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。
本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。
本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
論文 参考訳（メタデータ） (2023-05-24T07:36:47Z) - Learning Neural Volumetric Representations of Dynamic Humans in Minutes [49.10057060558854]
本稿では,視覚的品質の競争力のある映像から,ダイナミックな人間のニューラルボリューム映像を学習するための新しい手法を提案する。
具体的には、ネットワークの表現力をよりよく人体に分散させるために、新しい部分ベースのボクセル化人間表現を定義する。
実験により,従来のシーンごとの最適化手法よりも100倍高速に学習できることが実証された。
論文 参考訳（メタデータ） (2023-02-23T18:57:01Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳（メタデータ） (2022-11-20T20:57:02Z) - Neural Deformable Voxel Grid for Fast Optimization of Dynamic View
Synthesis [63.25919018001152]
動的シーンを扱うための高速な変形可能な放射場法を提案する。
本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2022-06-15T17:49:08Z) - DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。
実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
論文 参考訳（メタデータ） (2022-05-31T12:13:54Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳（メタデータ） (2022-05-30T17:47:31Z) - Neural 3D Video Synthesis [18.116032726623608]
本研究では,動的実世界のシーンのマルチビュー映像記録を表現可能な3次元映像合成手法を提案する。
私たちのアプローチは、モデルフリーでダイナミックな設定に、新しい方向の静的神経放射体の高品質とコンパクトさを取ります。
本手法は,高度に複雑でダイナミックなシーンでも1k以上の解像度で高精細な広角ノベルビューをレンダリングできることを実証する。
論文 参考訳（メタデータ） (2021-03-03T18:47:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。