論文の概要: PASTEL: Panoramic Alignment for Monocular 4D Scene Reconstruction
- arxiv url: http://arxiv.org/abs/2609.06099v1
- Date: Sat, 05 Sep 2026 13:51:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 11:39:24.76917
- Title: PASTEL: Panoramic Alignment for Monocular 4D Scene Reconstruction
- Title（参考訳）: PASTEL : 単眼4次元シーン再構成のためのパノラマアライメント
- Abstract要約: PASTELは、DyCheck IPhoneデータセット上のフルイメージPSNRにおいて、0.9dBによる従来の最先端手法よりも優れている。
モノクラー入力から可視領域の再構成と可観測カメラ境界を超える可視領域の生成を組み合わせることで、4次元シーン合成を実現する新しいパラダイムを提案する。
- 参考スコア（独自算出の注目度）: 12.918975196771209
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reconstructing 4D scenes from casually captured monocular video is vital for applications in virtual reality (VR) and embodied AI. Recent advances in 4D reconstruction and novel view synthesis have substantially propelled this capability. However, existing reconstruction methods generally cannot recover regions beyond visible camera limits. Consequently, we introduce a new paradigm that achieves 4D scene synthesis by combining visible-region reconstruction from monocular input with invisible-region generation beyond observable camera boundaries. We present Panoramic Alignment for Strategic Exploitation of Generative Priors (PASTEL). Specifically, PASTEL proposes panoramic scene alignment, a novel representation that reformulates the intractable 3D "invisible region" exploration into a tractable 2D directional trajectory planning. This is achieved by reducing the viewpoint planning from 6-DoF search to a 2D directional search with explicit visibility boundaries. By operating within this panoramic space, our method strategically identifies camera trajectories that maximize exploration beyond observable boundaries while minimizing viewpoint deviation. Experimental results show that PASTEL can not only extrapolate plausible scene content beyond the observable boundaries of input monocular videos, but also substantially boost monocular 4D reconstruction performance. PASTEL outperforms the previous state-of-the-art method by 0.9dB in full-image PSNR on the DyCheck IPhone dataset.
- Abstract（参考訳）: カジュアルにキャプチャされたモノクロビデオから4Dシーンを再構築することは、仮想現実(VR)や組み込みAIの応用に不可欠である。
近年の4次元再構成と新しいビュー合成の進歩により、この能力は著しく向上した。
しかし,既存の再建手法では,視界限界を超える領域を回復できないことが多い。
その結果,モノラル入力からの可視領域再構成と可視領域生成を,観測可能なカメラ境界を超えて組み合わせることで,4次元シーン合成を実現する新しいパラダイムを提案する。
我々は,PASTEL(Strategic Exploitation of Generative Priors)のためのパノラマアライメントを提案する。
具体的には、パノラマシーンアライメント(パノラマシーンアライメント)を提案する。これは、難解な3次元「見えない領域」探索を2次元指向軌道計画に再構成する新しい表現である。
これは、6-DoF探索からの視点計画を、明確な視界境界を持つ2次元方向探索に還元することで達成される。
このパノラマ空間内での操作により、視線偏差を最小化しつつ、観測可能な境界を越える探索を最大化するカメラ軌道を戦略的に同定する。
実験結果から,PASTELはモノクロビデオの可観測領域を超えて,可塑性シーンコンテンツを外挿するだけでなく,モノクロ4D再構成性能を大幅に向上させることができることがわかった。
PASTELは、DyCheck IPhoneデータセット上のフルイメージPSNRにおいて、0.9dBによる従来の最先端手法よりも優れている。
関連論文リスト
- Unified Panoramic-Gaussian Representation for Monocular 4D Scene Synthesis [8.854533413046957]
未確認領域での4次元シーン合成としてタスクを再構築する。
カメラ条件付きビデオ生成は、特定のカメラに沿って生成を誘導することで、見えない領域の合成を可能にする。
我々はパノラマ表現を明示的な動的表現に蒸留する統一パノラマ・ガウス表現であるパノラマ・ガウス表現を提案する。
論文 参考訳（メタデータ） (2026-07-02T03:43:06Z) - 4D Reconstruction from Sparse Dynamic Cameras [32.72043828725801]
我々は、少数のカメラが同じ被写体を撮影する、スパース・ダイナミック・カメラ・セットアップ(sparse dynamic camera set)という別の実用的な方法に焦点を当てている。
このセットアップは多視点制約を導入し、スポーツ、コンサート、テレビ番組などの実世界のビデオ制作に実用的であり続けている。
LetCamsGoは、3台の独立して動くカメラと1台の固定カメラによって記録された4つの異なる環境に5つのシーケンスが並んだ、新しい現実世界のビデオデータセットである。
論文 参考訳（メタデータ） (2026-06-03T08:31:43Z) - Full-4D: Generating Full-Scope 4D Scenes from a Single-View Video [63.61099683012546]
本稿では,同期マルチビュービデオのデータセットであるRealMV-4Dを紹介する。
次に、新しい融合時間(T)-ビュー(V)アテンション機構によって駆動される多視点ビデオ拡散モデルを訓練する。
実験により,本手法は視覚的忠実度と一貫性の両方において既存手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2026-05-25T06:59:26Z) - Stepper: Stepwise Immersive Scene Generation with Multiview Panoramas [101.58587238272462]
テキスト駆動型没入型3Dシーン合成のための統合フレームワークであるStepperを提案する。
Stepperは新しい大規模なマルチビューパノラマデータセットでトレーニングされている。
最先端の忠実さと構造的な一貫性を実現し、以前のアプローチよりも優れています。
論文 参考訳（メタデータ） (2026-03-30T20:26:28Z) - SEE4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting [83.5106058182799]
SEE4Dは, カジュアルビデオから4次元世界モデリングを行うための, ポーズのないトラジェクトリ・ツー・カメラ・フレームワークである。
モデル内のビュー条件ビデオは、現実的に合成された画像を認知する前に、ロバストな幾何学を学ぶために訓練される。
クロスビュービデオ生成とスパース再構成のベンチマークでSee4Dを検証した。
論文 参考訳（メタデータ） (2025-10-30T17:59:39Z) - 4D Driving Scene Generation With Stereo Forcing [62.47705572424127]
現在の生成モデルは、時間外挿と空間的新規ビュー合成(NVS)をシーンごとの最適化なしで同時にサポートする動的4D駆動シーンの合成に苦慮している。
PhiGenesisは、幾何学的・時間的整合性を持った映像生成技術を拡張する4次元シーン生成のための統合フレームワークである。
論文 参考訳（メタデータ） (2025-09-24T15:37:17Z) - TiP4GEN: Text to Immersive Panorama 4D Scene Generation [82.8444414014506]
TiP4GENはテキストから動的パノラマシーン生成フレームワークである。
微粒なコンテンツ制御を可能にし、動きに富んだ幾何学的なパノラマ4Dシーンを合成する。
TiP4GENはパノラマビデオ生成と動的シーン再構成を統合し、360度没入型仮想環境を作成する。
論文 参考訳（メタデータ） (2025-08-17T16:02:24Z) - HoloTime: Taming Video Diffusion Models for Panoramic 4D Scene Generation [29.579493980120173]
HoloTimeは、ビデオ拡散モデルを統合して、単一のプロンプトまたは参照イメージからパノラマビデオを生成するフレームワークである。
360Worldデータセットは、下流の4Dシーン再構築タスクに適したパノラマビデオの包括的なコレクションである。
パノラマアニメーションは、パノラマ画像を高品質のパノラマビデオに変換する2段階のイメージ・ツー・ビデオ拡散モデルである。
パノラマ空間時間再構成は、空間時間深度推定法を用いて、生成されたパノラマ映像を4次元の点雲に変換する。
論文 参考訳（メタデータ） (2025-04-30T13:55:28Z) - Vivid4D: Improving 4D Reconstruction from Monocular Video by Video Inpainting [26.54811754399946]
そこで我々は,視線を増大させることにより4次元モノクロ映像合成を向上させる新しいアプローチであるVivid4Dを紹介した。
これは、観察されたビューを新たな視点に歪曲するビデオインペインティングタスクとして、ビュー増強を再構成する。
実験により,本手法はモノラルな4次元シーンの再現と完了を効果的に改善することが示された。
論文 参考訳（メタデータ） (2025-04-15T11:38:14Z) - DimensionX: Create Any 3D and 4D Scenes from a Single Image with Controllable Video Diffusion [22.11178016375823]
DimensionXは、ビデオ拡散を伴う単一の画像から3Dと4Dのシーンを生成するように設計されたフレームワークである。
提案手法は,3次元シーンの空間構造と4次元シーンの時間的進化の両方が,映像フレームのシーケンスを通して効果的に表現できるという知見から始まった。
論文 参考訳（メタデータ） (2024-11-07T18:07:31Z) - 4K4DGen: Panoramic 4D Generation at 4K Resolution [67.98105958108503]
一つのパノラマを没入的な4D体験に高めるという課題に取り組む。
初めて、4K解像度で360$circ$のビューで全方位動的シーンを生成する能力を実証した。
高品質なパノラマ・ト・4Dを4Kの解像度で初めて実現した。
論文 参考訳（メタデータ） (2024-06-19T13:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。