論文の概要: BulletGen: Improving 4D Reconstruction with Bullet-Time Generation
- arxiv url: http://arxiv.org/abs/2506.18601v1
- Date: Mon, 23 Jun 2025 13:03:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-24 19:06:36.987744
- Title: BulletGen: Improving 4D Reconstruction with Bullet-Time Generation
- Title（参考訳）: BulletGen: Bullet-Time Generationによる4Dレコンストラクションの改善
- Authors: Denys Rozumnyi, Jonathon Luiten, Numair Khan, Johannes Schönberger, Peter Kontschieder,
- Abstract要約: BulletGenは、生成モデルを利用してエラーを訂正し、動的なシーン表現で行方不明情報を完成させるアプローチである。
提案手法は,静的および動的シーン成分と生成コンテンツをシームレスにブレンドし,新しいビュー合成と2D/3Dトラッキングの両タスクの最先端結果を実現する。
- 参考スコア（独自算出の注目度）: 15.225127596594582
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Transforming casually captured, monocular videos into fully immersive dynamic experiences is a highly ill-posed task, and comes with significant challenges, e.g., reconstructing unseen regions, and dealing with the ambiguity in monocular depth estimation. In this work we introduce BulletGen, an approach that takes advantage of generative models to correct errors and complete missing information in a Gaussian-based dynamic scene representation. This is done by aligning the output of a diffusion-based video generation model with the 4D reconstruction at a single frozen "bullet-time" step. The generated frames are then used to supervise the optimization of the 4D Gaussian model. Our method seamlessly blends generative content with both static and dynamic scene components, achieving state-of-the-art results on both novel-view synthesis, and 2D/3D tracking tasks.
- Abstract（参考訳）: カジュアルにキャプチャされたモノクロ動画を完全に没入的なダイナミックな体験に変換することは、非常に不適切なタスクであり、例えば、見えない領域の再構築、モノクロ深度推定の曖昧さへの対処といった重要な課題が伴う。
本稿では,ジェネレーティブモデルを利用して誤りを訂正し,ガウスの動的シーン表現に欠落した情報を完成させる手法であるBulletGenを紹介する。
これは拡散型ビデオ生成モデルの出力と4次元再構成を1つの凍結した「ブレットタイム」ステップで整列させることによって行われる。
生成されたフレームは、4Dガウスモデルの最適化を監督するために使用される。
提案手法は,静的および動的シーン成分と生成コンテンツをシームレスにブレンドし,新しいビュー合成と2D/3Dトラッキングの両タスクの最先端結果を実現する。
関連論文リスト
- Generative 4D Scene Gaussian Splatting with Object View-Synthesis Priors [22.797709893040906]
GenMOJOは、レンダリングベースで変形可能な3Dガウス最適化と生成前のビュー合成を統合する新しいアプローチである。
シーンを個々のオブジェクトに分解し、オブジェクトごとに変形可能なガウスの微分可能な集合を最適化する。
得られたモデルは、空間と時間の4Dオブジェクト再構成を生成し、モノラル入力から正確な2Dおよび3Dポイントトラックを生成する。
論文 参考訳（メタデータ） (2025-06-15T04:40:20Z) - Free4D: Tuning-free 4D Scene Generation with Spatial-Temporal Consistency [49.875459658889355]
Free4Dは、単一の画像から4Dシーンを生成するためのチューニング不要のフレームワークである。
我々の重要な洞察は、一貫した4次元シーン表現のために、事前訓練された基礎モデルを蒸留することである。
結果の4D表現はリアルタイムで制御可能なレンダリングを可能にする。
論文 参考訳（メタデータ） (2025-03-26T17:59:44Z) - 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [116.2042238179433]
本稿では,動的シーンを非拘束な4次元ボリューム学習問題とみなす。
本研究では,4次元ガウス原始体の集合を対象とした動的シーンを明示的な幾何学的特徴と外観的特徴で表現する。
このアプローチは、下層のフォトリアリスティック時間体積を適合させることで、空間と時間の関連情報をキャプチャすることができる。
特に、我々の4DGSモデルは、複雑なダイナミックシーンのための、高解像度で斬新なビューのリアルタイムレンダリングをサポートする最初のソリューションです。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z) - Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [64.38566659338751]
Deblur4DGSという,ぼやけたモノクロビデオから高品質な4Dモデルを再構成するための,最初の4Dガウス分割フレームワークを提案する。
本稿では,多面的,多面的整合性,多面的,多面的,多面的な整合性を実現するために露光規則化を導入し,斬新な視点以外では,デブレア4DGSは,デブロアリング,フレーム合成,ビデオ安定化など,多面的な視点からぼやけた映像を改善するために応用できる。
論文 参考訳（メタデータ） (2024-12-09T12:02:11Z) - MoSca: Dynamic Gaussian Fusion from Casual Videos via 4D Motion Scaffolds [27.802537831023347]
野生でカジュアルに撮影されたモノクロビデオから動的シーンの新たなビューを再構築し、合成するために設計された、モダンな4D再構成システムである4D Motion Scaffolds (MoSca)を紹介した。
動的レンダリングベンチマークにおける最先端のパフォーマンスと実動画での有効性について実験を行った。
論文 参考訳（メタデータ） (2024-05-27T17:59:07Z) - Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels [35.27805034331218]
単一生成ビデオから4D表現を正確に再構成する新しい再構成モデルVidu4Dを提案する。
Vidu4Dのコアとなるのは、提案した動的ガウスサーフェス(DGS)技術である。
論文 参考訳（メタデータ） (2024-05-27T04:43:44Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - DreamGaussian4D: Generative 4D Gaussian Splatting [56.49043443452339]
DG4D(DreamGaussian 4D:DreamGaussian 4D)はGaussian Splatting(GS)をベースとした効率的な4D生成フレームワークである。
我々の重要な洞察は、空間変換の明示的なモデリングと静的GSを組み合わせることで、4次元生成の効率的かつ強力な表現ができるということである。
ビデオ生成手法は、高画質の4D生成を向上し、価値ある時空間前兆を提供する可能性がある。
論文 参考訳（メタデータ） (2023-12-28T17:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。