論文の概要: CD-NGP: A Fast Scalable Continual Representation for Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2409.05166v5
- Date: Wed, 18 Dec 2024 03:14:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-19 13:24:19.346792
- Title: CD-NGP: A Fast Scalable Continual Representation for Dynamic Scenes
- Title（参考訳）: CD-NGP:動的シーンのための高速でスケーラブルな連続表現
- Authors: Zhenhuan Liu, Shuai Liu, Zhiwei Ning, Jie Yang, Yifan Zuo, Yuming Fang, Wei Liu,
- Abstract要約: 動的シーンにおける新しいビュー合成(NVS)の現在の手法は、メモリ消費の管理、モデルの複雑さ、トレーニング効率、レンダリング忠実度といった重要な課題に直面している。
本稿では,これらの問題に対処するために,連続的動的ニューラルネットワークプリミティブ(CD-NGP)を提案する。
提案手法は,メモリオーバーヘッドを低減するために連続学習フレームワークを活用するとともに,時間的および空間的なハッシュエンコーディングの異なる特徴を統合し,高いレンダリング品質を実現する。
- 参考スコア（独自算出の注目度）: 31.783117836434403
- License:
- Abstract: Current methods for novel view synthesis (NVS) in dynamic scenes encounter significant challenges in managing memory consumption, model complexity, training efficiency, and rendering fidelity. Existing offline techniques, while delivering high-quality results, face challenges from substantial memory demands and limited scalability. Conversely, online methods struggle to balance rapid convergence with model compactness. To address these issues, we propose continual dynamic neural graphics primitives (CD-NGP). Our approach leverages a continual learning framework to reduce memory overhead, and it also integrates features from distinct temporal and spatial hash encodings for high rendering quality. Meanwhile, our method employs parameter reuse to achieve high scalability. Additionally, we introduce a novel dataset featuring multi-view, exceptionally long video sequences with substantial rigid and non-rigid motion, which is seldom possessed by existing datasets. We evaluate the reconstruction quality, speed and scalability of our method on both the established public datasets and our exceptionally long video dataset. Notably, our method achieves an $85\%$ reduction in training memory consumption (less than 14GB) compared to offline techniques and significantly lowers streaming bandwidth requirements (less than 0.4MB/frame) relative to other online alternatives. The experimental results on our long video sequences dataset show the superior scalability and reconstruction quality compared to existing state-of-the-art approaches.
- Abstract（参考訳）: 動的シーンにおける新しいビュー合成(NVS)の現在の手法は、メモリ消費の管理、モデルの複雑さ、トレーニング効率、レンダリング忠実度といった重要な課題に直面している。
既存のオフライン技術は、高品質な結果を提供する一方で、かなりのメモリ要求と限られたスケーラビリティの課題に直面している。
逆に、オンライン手法は、迅速な収束とモデルのコンパクトさのバランスをとるのに苦労する。
これらの問題に対処するため,我々は連続的動的グラフィックスプリミティブ(CD-NGP)を提案する。
提案手法は,メモリオーバーヘッドを低減するために連続学習フレームワークを活用するとともに,時間的および空間的なハッシュエンコーディングの異なる特徴を統合し,高いレンダリング品質を実現する。
一方,本手法では,高スケーラビリティを実現するためにパラメータ再利用を用いる。
さらに,既存のデータセットではめったに持たない,頑健で非剛性な動きを伴う,マルチビューで例外的に長いビデオシーケンスを特徴とする新しいデータセットも紹介する。
我々は,確立した公開データセットと非常に長いビデオデータセットの両方において,提案手法の再現性,速度,スケーラビリティを評価した。
特に,本手法は,オフライン手法と比較して,トレーニングメモリ使用量(14GB未満)を8,5 %削減し,他のオンライン手法と比較してストリーミング帯域幅(0.4MB/frame未満)を大幅に削減する。
長大なビデオシーケンスデータセットの実験結果から,既存の最先端手法と比較して,スケーラビリティと再現性に優れていた。
関連論文リスト
- Adaptive and Temporally Consistent Gaussian Surfels for Multi-view Dynamic Reconstruction [3.9363268745580426]
AT-GSは、フレーム単位のインクリメンタル最適化により、多視点ビデオから高品質な動的曲面を再構成する新しい手法である。
連続するフレーム間の曲率写像の整合性を確保することにより、動的表面における時間的ジッタリングを低減する。
本手法は動的表面再構成の精度と時間的コヒーレンスを向上し,高忠実度空間時間新奇なビュー合成を実現する。
論文 参考訳（メタデータ） (2024-11-10T21:30:16Z) - ARLON: Boosting Diffusion Transformers with Autoregressive Models for Long Video Generation [83.62931466231898]
本稿では,長期ビデオ生成のための自己回帰モデルを用いた拡散変換器を高速化するフレームワークARLONを提案する。
潜在ベクトル量子変分オートコーダ(VQ-VAE)は、DiTモデルの入力潜時空間をコンパクトなビジュアルトークンに圧縮する。
適応ノルムベースのセマンティックインジェクションモジュールは、ARモデルから粗い離散視覚ユニットをDiTモデルに統合する。
論文 参考訳（メタデータ） (2024-10-27T16:28:28Z) - Temporal Feature Matters: A Framework for Diffusion Model Quantization [105.3033493564844]
拡散モデルはマルチラウンド・デノナイジングの時間ステップに依存している。
3つの戦略を含む新しい量子化フレームワークを導入する。
このフレームワークは時間情報のほとんどを保存し、高品質なエンドツーエンド生成を保証する。
論文 参考訳（メタデータ） (2024-07-28T17:46:15Z) - Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World
Video Super-Resolution [65.91317390645163]
Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。
ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。
また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
論文 参考訳（メタデータ） (2023-12-11T18:54:52Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T15:03:23Z) - Unbiased Scene Graph Generation in Videos [36.889659781604564]
TEMPURA: temporal consistency and Memory-guided UnceRtainty Attenuation for unbiased dynamic SGG。
TEMPURAはトランスフォーマーシーケンスモデリングによってオブジェクトレベルの時間的整合性を採用し、バイアスのない関係表現を合成することを学ぶ。
提案手法は,既存手法に比べて大きな性能向上(場合によっては最大10%)を達成している。
論文 参考訳（メタデータ） (2023-04-03T06:10:06Z) - Evolve Smoothly, Fit Consistently: Learning Smooth Latent Dynamics For
Advection-Dominated Systems [14.553972457854517]
複雑な物理系のサロゲートモデルを学ぶための,データ駆動・時空連続フレームワークを提案する。
ネットワークの表現力と特別に設計された整合性誘導正規化を利用して,低次元かつ滑らかな潜在軌道を得る。
論文 参考訳（メタデータ） (2023-01-25T03:06:03Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳（メタデータ） (2022-09-01T10:46:09Z) - Multivariate Time Series Forecasting with Dynamic Graph Neural ODEs [65.18780403244178]
動的グラフニューラル正規微分方程式(MTGODE)を用いた多変量時系列予測連続モデルを提案する。
具体的には、まず、時間進化するノードの特徴と未知のグラフ構造を持つ動的グラフに多変量時系列を抽象化する。
そして、欠落したグラフトポロジを補完し、空間的および時間的メッセージパッシングを統一するために、ニューラルODEを設計、解決する。
論文 参考訳（メタデータ） (2022-02-17T02:17:31Z) - Temporal-MPI: Enabling Multi-Plane Images for Dynamic Scene Modelling
via Temporal Basis Learning [6.952039070065292]
ビデオ全体を通してリッチな3Dおよび動的変動情報をコンパクトな時間的ベースとしてエンコードできる新しいテンポラルMPI表現を提案する。
提案するTemporal-MPIフレームワークは,従来の動的シーンモデリングフレームワークと比較して最大3000倍高速な,0.002秒のタイムスタンスMPIを生成することができる。
論文 参考訳（メタデータ） (2021-11-20T07:34:28Z) - Enabling Continual Learning with Differentiable Hebbian Plasticity [18.12749708143404]
連続学習は、獲得した知識を保護しながら、新しいタスクや知識を順次学習する問題である。
破滅的な忘れ物は、そのような学習プロセスを実行するニューラルネットワークにとって、大きな課題となる。
微分可能なヘビアン塑性からなるヘビアンコンソリデーションモデルを提案する。
論文 参考訳（メタデータ） (2020-06-30T06:42:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。