論文の概要: Streaming Radiance Fields for 3D Video Synthesis

• arxiv url: http://arxiv.org/abs/2210.14831v1
• Date: Wed, 26 Oct 2022 16:23:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 15:06:58.718950
• Title: Streaming Radiance Fields for 3D Video Synthesis
• Title（参考訳）: 3次元ビデオ合成のためのストリーミングラジアンス場
• Authors: Lingzhi Li, Zhen Shen, Zhongshu Wang, Li Shen, Ping Tan
• Abstract要約: 本稿では,実世界のダイナミックシーンの新たなビュー合成のための,ストリーミングレージアンス場再構築のための明示的グリッドベース手法を提案する。 挑戦的なビデオシーケンスの実験により、我々の手法は、フレーム当たり15秒のトレーニング速度を、競合的なレンダリング品質で達成できることが示されている。
• 参考スコア（独自算出の注目度）: 32.856346090347174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present an explicit-grid based method for efficiently reconstructing streaming radiance fields for novel view synthesis of real world dynamic scenes. Instead of training a single model that combines all the frames, we formulate the dynamic modeling problem with an incremental learning paradigm in which per-frame model difference is trained to complement the adaption of a base model on the current frame. By exploiting the simple yet effective tuning strategy with narrow bands, the proposed method realizes a feasible framework for handling video sequences on-the-fly with high training efficiency. The storage overhead induced by using explicit grid representations can be significantly reduced through the use of model difference based compression. We also introduce an efficient strategy to further accelerate model optimization for each frame. Experiments on challenging video sequences demonstrate that our approach is capable of achieving a training speed of 15 seconds per-frame with competitive rendering quality, which attains $1000 \times$ speedup over the state-of-the-art implicit methods. Code is available at https://github.com/AlgoHunt/StreamRF.
• Abstract（参考訳）: 本稿では,実世界の動的シーンの新しいビュー合成のために,ストリーミングラミアンスフィールドを効率的に再構成するための明示的グリッドベース手法を提案する。 すべてのフレームを組み合わせた単一のモデルをトレーニングする代わりに、動的モデリング問題をインクリメンタルな学習パラダイムで定式化し、フレームごとのモデル差をトレーニングして、現在のフレームへのベースモデルの適応を補完する。 提案手法は,狭帯域を用いたシンプルながら効果的なチューニング戦略を生かし,高速なトレーニング効率で映像シーケンスの処理が可能なフレームワークを実現する。 明示的なグリッド表現によって引き起こされるストレージオーバーヘッドは、モデル差分ベースの圧縮によって大幅に削減できる。 また,各フレームのモデル最適化をさらに加速する効率的な戦略を提案する。 挑戦的なビデオシーケンスの実験は、我々のアプローチがフレームあたり15秒のトレーニング速度を、競争力のあるレンダリング品質で達成でき、最先端の暗黙的メソッドよりも1000ドルのスピードアップを達成できることを示しています。 コードはhttps://github.com/AlgoHunt/StreamRF.comで入手できる。

関連論文リスト

• Optical-Flow Guided Prompt Optimization for Coherent Video Generation [51.430833518070145]
  我々は,光フローによる映像生成プロセスをガイドするMotionPromptというフレームワークを提案する。 ランダムフレーム対に適用した訓練された識別器の勾配を用いて,逆サンプリングステップにおける学習可能なトークン埋め込みを最適化する。 提案手法により,生成したコンテンツの忠実さを損なうことなく,自然な動きのダイナミクスを忠実に反映した視覚的コヒーレントな映像シーケンスを生成することができる。
  論文  参考訳（メタデータ） (2024-11-23T12:26:52Z)
• Disentangled Motion Modeling for Video Frame Interpolation [40.83962594702387]
  ビデオフレーム(VFI)は、既存のフレーム間の中間フレームを合成し、視覚的滑らかさと品質を高めることを目的としている。 中間動作モデリングに着目して視覚的品質を高めるVFIの拡散に基づく手法であるDistangled Motion Modeling (MoMo)を導入する。
  論文  参考訳（メタデータ） (2024-06-25T03:50:20Z)
• RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
  本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。 提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。 我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
  論文  参考訳（メタデータ） (2024-01-11T16:48:44Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• FrameExit: Conditional Early Exiting for Efficient Video Recognition [11.92976432364216]
  効率的なビデオ認識のための条件付き早期終了フレームワークを提案する。 私たちのモデルは、単純なビデオのフレーム数を減らし、複雑なビデオのフレーム数を増やすことを学びます。 提案手法は,HVUベンチマーク上での効率的な映像理解のための新しい手法である。
  論文  参考訳（メタデータ） (2021-04-27T18:01:05Z)
• Neural 3D Video Synthesis [18.116032726623608]
  本研究では,動的実世界のシーンのマルチビュー映像記録を表現可能な3次元映像合成手法を提案する。 私たちのアプローチは、モデルフリーでダイナミックな設定に、新しい方向の静的神経放射体の高品質とコンパクトさを取ります。 本手法は,高度に複雑でダイナミックなシーンでも1k以上の解像度で高精細な広角ノベルビューをレンダリングできることを実証する。
  論文  参考訳（メタデータ） (2021-03-03T18:47:40Z)
• A Real-time Action Representation with Temporal Encoding and Deep Compression [115.3739774920845]
  動作表現のための時間畳み込み3Dネットワーク(T-C3D)と呼ばれる新しいリアルタイム畳み込みアーキテクチャを提案する。 T-C3Dは、高プロセス速度を得ながら、階層的な多粒度でビデオアクション表現を学習する。 提案手法は,5MB未満のストレージモデルを用いて,提案手法の精度5.4%,推論速度2倍の高速化を実現した。
  論文  参考訳（メタデータ） (2020-06-17T06:30:43Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。