Fugu-MT 論文翻訳(概要): Temporal-MPI: Enabling Multi-Plane Images for Dynamic Scene Modelling via Temporal Basis Learning

論文の概要: Temporal-MPI: Enabling Multi-Plane Images for Dynamic Scene Modelling via Temporal Basis Learning

arxiv url: http://arxiv.org/abs/2111.10533v1
Date: Sat, 20 Nov 2021 07:34:28 GMT
ステータス: 処理完了
システム内更新日: 2021-11-23 15:20:42.831345
Title: Temporal-MPI: Enabling Multi-Plane Images for Dynamic Scene Modelling via Temporal Basis Learning
Title（参考訳）: temporal-mpi:temporal basis learningによる動的シーンモデリングのための多面画像の実現
Authors: Wenpeng Xing, Jie Chen
Abstract要約: ビデオ全体を通してリッチな3Dおよび動的変動情報をコンパクトな時間的ベースとしてエンコードできる新しいテンポラルMPI表現を提案する。提案するTemporal-MPIフレームワークは,従来の動的シーンモデリングフレームワークと比較して最大3000倍高速な,0.002秒のタイムスタンスMPIを生成することができる。
参考スコア（独自算出の注目度）: 6.952039070065292
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Novel view synthesis of static scenes has achieved remarkable advancements in producing photo-realistic results. However, key challenges remain for immersive rendering for dynamic contents. For example, one of the seminal image-based rendering frameworks, the multi-plane image (MPI) produces high novel-view synthesis quality for static scenes but faces difficulty in modeling dynamic parts. In addition, modeling dynamic variations through MPI may require huge storage space and long inference time, which hinders its application in real-time scenarios. In this paper, we propose a novel Temporal-MPI representation which is able to encode the rich 3D and dynamic variation information throughout the entire video as compact temporal basis. Novel-views at arbitrary time-instance will be able to be rendered real-time with high visual quality due to the highly compact and expressive latent basis and the coefficients jointly learned. We show that given comparable memory consumption, our proposed Temporal-MPI framework is able to generate a time-instance MPI with only 0.002 seconds, which is up to 3000 times faster, with 3dB higher average view-synthesis PSNR as compared with other state-of-the-art dynamic scene modelling frameworks.
Abstract（参考訳）: 静的シーンの新規なビュー合成は、フォトリアリスティックな結果を生み出す上で大きな進歩を遂げている。しかし、動的コンテンツの没入レンダリングには重要な課題が残っている。例えば、精巧な画像ベースのレンダリングフレームワークの1つであるマルチプレーン画像(mpi)は、静的なシーンに対して高いノベルビュー合成品質を生み出すが、動的部分のモデリングが困難である。さらに、mpiによる動的変動のモデリングには、巨大なストレージスペースと長い推論時間が必要になる可能性がある。本稿では,ビデオ全体を通してリッチな3Dおよび動的変動情報をコンパクトな時間ベースとしてエンコード可能な,新しいテンポラルMPI表現を提案する。任意の時間における新規ビューは、高度にコンパクトで表現力に富んだ潜在基底と共同学習された係数により、視覚的品質の高いリアルタイムレンダリングが可能となる。提案する時間的mpiフレームワークは、同等のメモリ消費を前提にすると、従来の動的シーンモデリングフレームワークに比べて3db高い平均ビュー合成psnrで、わずか0.002秒のタイムインスタンスmpiを生成することができる。

関連論文リスト

CD-NGP: A Fast Scalable Continual Representation for Dynamic Scenes [9.217592165862762]
ビュー合成のための連続的動的ニューラルネットワークプリミティブ(CD-NGP)を提案する。提案手法は時間的および空間的なハッシュエンコーディングから特徴を相乗化して高いレンダリング品質を実現する。本稿では,厳格かつ非剛性な動きを持つマルチビュー,例外的に長いビデオシーケンスからなる新しいデータセットを提案する。
論文参考訳（メタデータ） (2024-09-08T17:35:48Z)
MultiDiff: Consistent Novel View Synthesis from a Single Image [60.04215655745264]
MultiDiffは、単一のRGB画像からシーンを一貫した新しいビュー合成のための新しいアプローチである。以上の結果から,MultiDiffは,課題の多いリアルタイムデータセットであるRealEstate10KとScanNetにおいて,最先端の手法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-06-26T17:53:51Z)
Modeling Ambient Scene Dynamics for Free-view Synthesis [31.233859111566613]
モノクルキャプチャから周囲のシーンを動的に自由視点で合成する手法を提案する。本手法は, 複雑な静的シーンを忠実に再構築できる3次元ガウス散乱(3DGS)の最近の進歩に基づいている。
論文参考訳（メタデータ） (2024-06-13T17:59:11Z)
Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
論文参考訳（メタデータ） (2024-06-05T12:07:39Z)
RAVEN: Rethinking Adversarial Video Generation with Efficient Tri-plane Networks [93.18404922542702]
本稿では,長期的空間的および時間的依存関係に対処する新しいビデオ生成モデルを提案する。提案手法は,3次元認識型生成フレームワークにインスパイアされた,明示的で単純化された3次元平面のハイブリッド表現を取り入れたものである。我々のモデルは高精細度ビデオクリップを解像度256時間256$ピクセルで合成し、フレームレート30fpsで5ドル以上まで持続する。
論文参考訳（メタデータ） (2024-01-11T16:48:44Z)
SWinGS: Sliding Windows for Dynamic 3D Gaussian Splatting [7.553079256251747]
我々は動的シーンを再構築するために3次元ガウススプラッティングを拡張した。我々は、競争力のある定量的性能を持つ一般的な動的シーンの高品質なレンダリングを作成する。我々の手法は動的インタラクティブなビューアでリアルタイムで見ることができる。
論文参考訳（メタデータ） (2023-12-20T03:54:03Z)
DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis with 3D Gaussian Splatting [35.69069478773709]
動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
論文参考訳（メタデータ） (2023-11-30T18:59:11Z)
Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering [36.111845416439095]
周期振動ガウスモデル(PVG)を提案する。 PVGは、当初静的シーン表現のために設計された効率的な3Dガウススプラッティング技術に基づいている。 PVGは、最良の代替品よりも900倍の速度でレンダリングできる。
論文参考訳（メタデータ） (2023-11-30T13:53:50Z)
Revisiting Temporal Modeling for CLIP-based Image-to-Video Knowledge Transferring [82.84513669453744]
画像テキスト事前訓練モデル(例えばCLIP)は、大規模な画像テキストデータペアから学んだ、印象的な汎用マルチモーダル知識を示している。画像間知識伝達の文脈における時間的モデリングを再考する。本稿では,CLIPモデルを多様なビデオタスクに拡張する簡易かつ効果的な時間的モデリング機構を提案する。
論文参考訳（メタデータ） (2023-01-26T14:12:02Z)
DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。動的シーンデータセットにおける最先端手法の大幅な改善を示す。
論文参考訳（メタデータ） (2022-11-20T20:57:02Z)
Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes [70.76742458931935]
本稿では,動的シーンを外観・幾何学・3次元シーン動作の時間変化連続関数としてモデル化する新しい表現を提案する。私たちの表現は、観測された入力ビューに適合するようにニューラルネットワークを介して最適化されます。我々の表現は、細い構造、ビュー依存効果、自然な動きの度合いなどの複雑な動的シーンに利用できることを示す。
論文参考訳（メタデータ） (2020-11-26T01:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。