論文の概要: Temporal-MPI: Enabling Multi-Plane Images for Dynamic Scene Modelling
via Temporal Basis Learning
- arxiv url: http://arxiv.org/abs/2111.10533v1
- Date: Sat, 20 Nov 2021 07:34:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-23 15:20:42.831345
- Title: Temporal-MPI: Enabling Multi-Plane Images for Dynamic Scene Modelling
via Temporal Basis Learning
- Title(参考訳): temporal-mpi:temporal basis learningによる動的シーンモデリングのための多面画像の実現
- Authors: Wenpeng Xing, Jie Chen
- Abstract要約: ビデオ全体を通してリッチな3Dおよび動的変動情報をコンパクトな時間的ベースとしてエンコードできる新しいテンポラルMPI表現を提案する。
提案するTemporal-MPIフレームワークは,従来の動的シーンモデリングフレームワークと比較して最大3000倍高速な,0.002秒のタイムスタンスMPIを生成することができる。
- 参考スコア(独自算出の注目度): 6.952039070065292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Novel view synthesis of static scenes has achieved remarkable advancements in
producing photo-realistic results. However, key challenges remain for immersive
rendering for dynamic contents. For example, one of the seminal image-based
rendering frameworks, the multi-plane image (MPI) produces high novel-view
synthesis quality for static scenes but faces difficulty in modeling dynamic
parts. In addition, modeling dynamic variations through MPI may require huge
storage space and long inference time, which hinders its application in
real-time scenarios. In this paper, we propose a novel Temporal-MPI
representation which is able to encode the rich 3D and dynamic variation
information throughout the entire video as compact temporal basis. Novel-views
at arbitrary time-instance will be able to be rendered real-time with high
visual quality due to the highly compact and expressive latent basis and the
coefficients jointly learned. We show that given comparable memory consumption,
our proposed Temporal-MPI framework is able to generate a time-instance MPI
with only 0.002 seconds, which is up to 3000 times faster, with 3dB higher
average view-synthesis PSNR as compared with other state-of-the-art dynamic
scene modelling frameworks.
- Abstract(参考訳): 静的シーンの新規なビュー合成は、フォトリアリスティックな結果を生み出す上で大きな進歩を遂げている。
しかし、動的コンテンツの没入レンダリングには重要な課題が残っている。
例えば、精巧な画像ベースのレンダリングフレームワークの1つであるマルチプレーン画像(mpi)は、静的なシーンに対して高いノベルビュー合成品質を生み出すが、動的部分のモデリングが困難である。
さらに、mpiによる動的変動のモデリングには、巨大なストレージスペースと長い推論時間が必要になる可能性がある。
本稿では,ビデオ全体を通してリッチな3Dおよび動的変動情報をコンパクトな時間ベースとしてエンコード可能な,新しいテンポラルMPI表現を提案する。
任意の時間における新規ビューは、高度にコンパクトで表現力に富んだ潜在基底と共同学習された係数により、視覚的品質の高いリアルタイムレンダリングが可能となる。
提案する時間的mpiフレームワークは、同等のメモリ消費を前提にすると、従来の動的シーンモデリングフレームワークに比べて3db高い平均ビュー合成psnrで、わずか0.002秒のタイムインスタンスmpiを生成することができる。
関連論文リスト
- SWAGS: Sampling Windows Adaptively for Dynamic 3D Gaussian Splatting [7.878391936918369]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。
我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。
我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文 参考訳(メタデータ) (2023-12-20T03:54:03Z) - DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis
with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。
我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文 参考訳(メタデータ) (2023-11-30T18:59:11Z) - Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and
Real-time Rendering [38.74244725059936]
周期振動ガウスモデル(PVG)を提案する。
PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。
PVGは動的シーンと静的シーンの両方に対して、再構築と新規ビュー合成の両方において最先端の代替手段を超越していることを示す。
論文 参考訳(メタデータ) (2023-11-30T13:53:50Z) - Real-time Photorealistic Dynamic Scene Representation and Rendering with
4D Gaussian Splatting [8.078460597825142]
2次元画像から動的3Dシーンを再構成し、時間とともに多様なビューを生成することは、シーンの複雑さと時間的ダイナミクスのために困難である。
本研究では、4次元プリミティブの集合を明示的な幾何学と外観モデルを用いて最適化することにより、動的シーンの基本的な時間的レンダリング量を近似することを提案する。
我々のモデルは概念的に単純であり、異方性楕円によってパラメータ化され、空間と時間で任意に回転する4次元ガウスのパラメータと、4次元球面調和係数で表されるビュー依存および時間進化の外観から構成される。
論文 参考訳(メタデータ) (2023-10-16T17:57:43Z) - Revisiting Temporal Modeling for CLIP-based Image-to-Video Knowledge
Transferring [82.84513669453744]
画像テキスト事前訓練モデル(例えばCLIP)は、大規模な画像テキストデータペアから学んだ、印象的な汎用マルチモーダル知識を示している。
画像間知識伝達の文脈における時間的モデリングを再考する。
本稿では,CLIPモデルを多様なビデオタスクに拡張する簡易かつ効果的な時間的モデリング機構を提案する。
論文 参考訳(メタデータ) (2023-01-26T14:12:02Z) - DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。
我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。
動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文 参考訳(メタデータ) (2022-11-20T20:57:02Z) - Gait Recognition in the Wild with Multi-hop Temporal Switch [81.35245014397759]
野生での歩行認識は、より実践的な問題であり、マルチメディアとコンピュータビジョンのコミュニティの注目を集めています。
本稿では,現実のシーンにおける歩行パターンの効果的な時間的モデリングを実現するために,新しいマルチホップ時間スイッチ方式を提案する。
論文 参考訳(メタデータ) (2022-09-01T10:46:09Z) - A Portable Multiscopic Camera for Novel View and Time Synthesis in
Dynamic Scenes [42.00094186447837]
ダイナミックなシーンにおける新しいビューと時間合成のための専用モデルを備えた携帯型マルチスコープカメラシステムを提案する。
私たちのゴールは、ポータブルなマルチスコープカメラを使って、いつでもあらゆる視点から、ダイナミックなシーンの高品質な画像をレンダリングすることです。
論文 参考訳(メタデータ) (2022-08-30T17:53:17Z) - Slow-Fast Visual Tempo Learning for Video-based Action Recognition [78.3820439082979]
アクション・ビジュアル・テンポ(Action visual tempo)は、アクションのダイナミクスと時間スケールを特徴付ける。
以前の方法は、複数のレートで生のビデオをサンプリングするか、階層的にバックボーンの特徴をサンプリングすることによって、視覚的テンポをキャプチャする。
単一層における低レベルバックボーン特徴からアクション・テンポを抽出するための時間相関モジュール(TCM)を提案する。
論文 参考訳(メタデータ) (2022-02-24T14:20:04Z) - DeepMultiCap: Performance Capture of Multiple Characters Using Sparse
Multiview Cameras [63.186486240525554]
deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。
本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
論文 参考訳(メタデータ) (2021-05-01T14:32:13Z) - Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。
私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。
我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文 参考訳(メタデータ) (2020-11-26T01:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。