論文の概要: PVDepth: Panoramic Video Depth Estimation via Geometry-Aware Spatiotemporal Adaptation
- arxiv url: http://arxiv.org/abs/2611.07873v1
- Date: Thu, 05 Nov 2026 11:47:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.671134
- Title: PVDepth: Panoramic Video Depth Estimation via Geometry-Aware Spatiotemporal Adaptation
- Title(参考訳): PVDepth:幾何学的時空間適応によるパノラマビデオ深度推定
- Abstract要約: 本稿では,視点映像深度モデルに基づくエンドツーエンドフレームワークであるPVDepthを提案する。
等角射影(ERP)特有の幾何学的歪みとそれに伴う非線形時間ダイナミクスに対処するために,2つのコア機構を導入する。
PVDepthは、幾何学的に正確で時間的に一貫した深さ列を生成することで、優れた性能を達成する。
- 参考スコア(独自算出の注目度): 17.56775254744304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Panoramic video depth estimation is pivotal for applications such as Virtual Reality and World Models. However, advancements in this field are impeded by two primary obstacles: the scarcity of large-scale training data and the unique spatiotemporal challenges of Equirectangular Projection (ERP), which hinder the direct transfer of perspective models. In this paper, we first present PanoCARLA, a large-scale synthetic RGB-D panoramic video dataset, featuring natural motion trajectories and drone-like roaming perspectives. Building on this foundation, we propose PVDepth, an end-to-end framework adapted from perspective video depth models. To tackle ERP-specific geometric distortions and consequent non-linear temporal dynamics, we introduce two core mechanisms: (1) A Progressive Sphere-aware Noise Initialization strategy that anneals the noise distribution from planar to spherical, guiding the model to adapt to non-uniform information density; and (2) A Cube-rectified Temporal Modeling module that incorporates an auxiliary cubemap temporal branch to rectify non-linear temporal dynamics in the ERP domain. Extensive experiments demonstrate that PVDepth achieves superior performance, generating geometrically accurate and temporally consistent depth sequences. Code and data will be released at https:// github.com/ChuanxinSong/PVDepth.
- Abstract(参考訳): パノラマビデオ深度推定は、バーチャルリアリティやワールドモデルのようなアプリケーションにとって重要な要素である。
しかし、この分野での進歩は、大規模トレーニングデータの不足と、視点モデルの直接伝達を妨げる等角射影(ERP)のユニークな時空間的課題の2つの主要な障害によって妨げられている。
本稿では,PanoCARLAについて紹介する。これは大規模合成RGB-Dパノラマビデオデータセットで,自然運動軌跡とドローンのようなローミングの視点を特徴とする。
この基盤の上に構築されたPVDepthは,視点映像深度モデルに適応したエンドツーエンドフレームワークである。
1) 平面から球面への雑音分布を緩和し, 非一様情報密度に適応させるプログレッシブ・スフィア・アウェア・ノイズ初期化戦略, (2) 補助的な立方体図時間枝を組み込んだ立方体モデルモジュールによるERP領域の非線形時間ダイナミクスの修正。
広範な実験によりPVDepthは優れた性能を示し、幾何学的に正確で時間的に一貫した深さ列を生成する。
コードとデータはhttps:// github.com/ChuanxinSong/PVDepth.comで公開される。
関連論文リスト
- DyG$^2$T: Modeling Object Dynamics with 3D Gaussian Temporal-Spatial Particle Graph Transformer [86.4618122245946]
DyG$2$Tは動的モデリングフレームワークで、キーポイント表現を空間的に完了し、時間的に識別することでオブジェクトの運動軌跡を推定する。
合成データセットと実世界のデータセットの両方の実験は、DyG$2$Tが正確な動的モデリングと推論を実現することを示した。
論文 参考訳(メタデータ) (2026-08-19T03:44:28Z) - An Elastic Shape Variational Autoencoder for Skeleton Pose Trajectories [8.678193782239054]
弾性形状 - 変分オートエンコーダ (ES-VAE) は骨格軌道の幾何学的生成モデルである。
2つのデータセットに対するES-VAEの有効性を示す。
論文 参考訳(メタデータ) (2026-05-10T00:21:02Z) - RAYNOVA: Scale-Temporal Autoregressive World Modeling in Ray Space [51.441415833480505]
RAYNOVAは、二重因果自己回帰フレームワークを使用するシナリオを駆動するための多視点世界モデルである。
相対的なシャーカー線位置符号化に基づいて、ビュー、フレーム、スケールにまたがる等方的時間的表現を構築する。
論文 参考訳(メタデータ) (2026-02-24T08:41:40Z) - Forecasting as Rendering: A 2D Gaussian Splatting Framework for Time Series Forecasting [79.37674445572462]
時系列予測(TSF)は、周期内変動と周期間トレンドの複雑な絡み合いのため、依然として困難な問題である。
形状変化テンソルを静止画像として扱うと、トポロジカルミスマッチが発生する。
均一な固定サイズの表現に依存することは、モデリング能力を非効率に割り当てる。
TimeGSは、予測パラダイムをレグレッションから2D生成レンダリングに根本的にシフトする、新しいフレームワークである。
論文 参考訳(メタデータ) (2026-02-10T14:13:36Z) - Scaling Up Occupancy-centric Driving Scene Generation: Dataset and Method [54.461213497603154]
作業中心の手法は、最近、フレームとモダリティをまたいだ一貫した条件付けを提供することで、最先端の結果を得た。
Nuplan-Occは、広く使われているNuplanベンチマークから構築された、これまでで最大の占有率データセットである。
高品質な占有、多視点ビデオ、LiDAR点雲を共同で合成する統合フレームワークを開発した。
論文 参考訳(メタデータ) (2025-10-27T03:52:45Z) - SHaDe: Compact and Consistent Dynamic 3D Reconstruction via Tri-Plane Deformation and Latent Diffusion [0.0]
本稿では3つの重要な要素を統合した動的3次元シーン再構成のための新しいフレームワークを提案する。
明示的な三面変形場、球面調和(SH)注目の視野条件付き正準場、時間的に認識される潜在拡散。
提案手法は,時間とともに進化する3つの2次元特徴面を用いて4次元シーンを符号化し,効率的なコンパクト表現を実現する。
論文 参考訳(メタデータ) (2025-05-22T11:25:38Z) - MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。
各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。
我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
論文 参考訳(メタデータ) (2024-10-04T18:00:07Z) - STGFormer: Spatio-Temporal GraphFormer for 3D Human Pose Estimation in Video [7.345621536750547]
本稿では,ビデオ中の3次元ポーズ推定のためのS-Temporal GraphFormerフレームワーク(STGFormer)を提案する。
まず,人体固有のグラフ分布をより効果的に活用するためのSTGアテンション機構を導入する。
次に、時間次元と空間次元を独立に並列に処理するための変調ホップワイド正規GCNを提案する。
最後に,Human3.6MおよびMPIINF-3DHPデータセット上での最先端性能を示す。
論文 参考訳(メタデータ) (2024-07-14T06:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。