論文の概要: Learning Global Motion with Compact Gaussians for Feed-Forward 4D Reconstruction
- arxiv url: http://arxiv.org/abs/2605.31595v1
- Date: Fri, 29 May 2026 17:57:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.786916
- Title: Learning Global Motion with Compact Gaussians for Feed-Forward 4D Reconstruction
- Title（参考訳）: フィードフォワード4D再構成のための小型ガウスを用いたグローバルモーションの学習
- Abstract要約: 我々は、タイムスタンプ条件付き学習可能なガウスクエリトークンのコンパクトなセット上に構築されたフィードフォワード4D再構成フレームワークであるC4Gを提案する。
C4Gはガウシアンをはるかに少なく、カメラのポーズを必要とせず、強力なノベルビュー合成性能を実現する。
- 参考スコア（独自算出の注目度）: 49.87425331212591
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic scene reconstruction from monocular video remains a fundamental challenge in computer vision. Existing feed-forward methods predict 3D Gaussians pixel-wise for each frame, suffering from duplicated Gaussians and view-dependent biases that hinder effective learning of scene motion. We present C4G, a feed-forward 4D reconstruction framework built upon a compact set of timestamp-conditioned learnable Gaussian query tokens. Each token aggregates corresponding features across the full temporal context and decodes a 3D Gaussian whose position is modulated by the target timestamp, enabling globally coherent motion modeling without per-scene optimization. To capture fine-grained details, we further introduce a video diffusion model-based rendering enhancement module. Since our framework effectively aggregates features into Gaussians, we extend this capability to feature lifting, producing a 4D feature field that supports point tracking and dynamic scene understanding. C4G achieves strong novel-view synthesis performance using significantly fewer Gaussians and without requiring camera poses, while exhibiting stronger motion modeling and robustness to large temporal gaps.
- Abstract（参考訳）: 単眼ビデオからの動的シーン再構成はコンピュータビジョンの根本的な課題である。
既存のフィードフォワード法では、フレーム毎に3次元ガウス画素を予測し、重複ガウスとシーン動作の効果的な学習を妨げるビュー依存バイアスに悩まされている。
我々は、タイムスタンプ条件付き学習可能なガウスクエリトークンのコンパクトなセット上に構築されたフィードフォワード4D再構成フレームワークであるC4Gを提案する。
各トークンは、対応する特徴を時間的コンテキスト全体にわたって集約し、ターゲットタイムスタンプによって位置を変調した3Dガウスをデコードし、シーンごとの最適化なしにグローバルなコヒーレントなモーションモデリングを可能にする。
さらに細かな細部を捉えるために,ビデオ拡散モデルに基づくレンダリング拡張モジュールを導入する。
我々のフレームワークはガウシアンに機能を効果的に集約するので、この機能を機能リフトに拡張し、ポイントトラッキングと動的なシーン理解をサポートする4D機能フィールドを生成します。
C4Gは、ガウスアンをはるかに少なく、カメラポーズを必要とせず、より強力なモーションモデリングと大きな時間的ギャップに対するロバスト性を示しながら、強力なノベルビュー合成性能を実現する。
関連論文リスト
- EVolSplat4D: Efficient Volume-based Gaussian Splatting for 4D Urban Scene Synthesis [43.898895514609286]
EvolSplat4Dは、ボリュームベースとピクセルベースのガウス予測を統合することで、既存のピクセル単位のパラダイムを超えたフィードフォワードフレームワークである。
EvolSplat4Dは静的環境と動的環境の両方を高い精度と一貫性で再構成し、シーンごとの最適化と最先端のフィードフォワードベースラインの両方に優れることを示す。
論文 参考訳（メタデータ） (2026-01-22T13:39:29Z) - Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。
単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
論文 参考訳（メタデータ） (2025-11-01T11:16:25Z) - ShapeGen4D: Towards High Quality 4D Shape Generation from Videos [85.45517487721257]
ビデオからエンドツーエンドに1つの動的3次元表現を合成する,ネイティブなビデオから4次元の形状生成フレームワークを提案する。
本手法は,フレームごとの最適化を行なわずに,非剛性運動,体積変化,および位相遷移を正確にキャプチャする。
論文 参考訳（メタデータ） (2025-10-07T17:58:11Z) - Forge4D: Feed-Forward 4D Human Reconstruction and Interpolation from Uncalibrated Sparse-view Videos [27.595035122927204]
本研究では,非校正されたスパースビュー映像からの時間的整列表現を効率よく校正するフィードフォワード4次元人間の再構成とモデルを提案する。
新たに,隣接する2つのフレーム間の3次元ガウス運動の高密度な動きを予測するための動き予測モジュールを設計した。
実験では、ドメイン内データセットとドメイン外データセットの両方において、モデルの有効性を示す。
論文 参考訳（メタデータ） (2025-09-29T02:47:14Z) - BulletGen: Improving 4D Reconstruction with Bullet-Time Generation [15.225127596594582]
BulletGenは、生成モデルを利用してエラーを訂正し、動的なシーン表現で行方不明情報を完成させるアプローチである。
提案手法は,静的および動的シーン成分と生成コンテンツをシームレスにブレンドし,新しいビュー合成と2D/3Dトラッキングの両タスクの最先端結果を実現する。
論文 参考訳（メタデータ） (2025-06-23T13:03:42Z) - CoDa-4DGS: Dynamic Gaussian Splatting with Context and Deformation Awareness for Autonomous Driving [12.006435326659526]
ダイナミックなシーンレンダリングを改善するために,新しい4次元ガウススプラッティング(4DGS)手法を提案する。
具体的には,2次元セマンティックセグメンテーション基盤モデルを用いて,ガウスの4次元セマンティック特徴を自己監督する。
意味的変形特徴と時間的変形特徴の両方を集約して符号化することにより、各ガウスは潜在的な変形補償のための手がかりを備える。
論文 参考訳（メタデータ） (2025-03-09T19:58:51Z) - 4D Gaussian Splatting: Modeling Dynamic Scenes with Native 4D Primitives [115.67081491747943]
動的3Dシーン表現と新しいビュー合成はAR/VRおよびメタバースアプリケーションの実現に不可欠である。
我々は,その基礎となる4次元体積を近似として,時間変化の異なる3次元シーンの再構成を再構成する。
ストレージのボトルネックに対処するため、メモリフットプリントを効果的に削減するいくつかのコンパクトなバリエーションを導出する。
論文 参考訳（メタデータ） (2024-12-30T05:30:26Z) - Deblur4DGS: 4D Gaussian Splatting from Blurry Monocular Video [55.704264233274294]
ぼやけたモノクロ映像から高品質な4Dモデルを再構成するためのDeblur4DGSを提案する。
我々は露光時間内の連続的動的表現を露光時間推定に変換する。
Deblur4DGSは、新規なビュー合成以外にも、複数の視点からぼやけたビデオを改善するために応用できる。
論文 参考訳（メタデータ） (2024-12-09T12:02:11Z) - H3D-DGS: Exploring Heterogeneous 3D Motion Representation for Deformable 3D Gaussian Splatting [39.2960379257236]
ダイナミックシーンの再構築は、3Dビジョンにおいて永続的な課題となる。
変形可能な3Dガウススプラッティングは,リアルタイムレンダリングと高視認性を実現するため,この作業に有効な方法として登場した。
このアプローチは、動的シーンを標準空間における静的な表現と時間変化のシーンモーションに分解する。
Neu3DVおよびCMU-Panopticデータセットを用いた実験により,本手法は最先端の変形可能な3次元ガウススプラッティング技術よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-08-23T12:51:49Z) - MoSca: Dynamic Gaussian Fusion from Casual Videos via 4D Motion Scaffolds [27.802537831023347]
野生でカジュアルに撮影されたモノクロビデオから動的シーンの新たなビューを再構築し、合成するために設計された、モダンな4D再構成システムである4D Motion Scaffolds (MoSca)を紹介した。
動的レンダリングベンチマークにおける最先端のパフォーマンスと実動画での有効性について実験を行った。
論文 参考訳（メタデータ） (2024-05-27T17:59:07Z) - SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer [57.506654943449796]
動作と外観を分離するSC4Dという,効率的でスパース制御されたビデオ・ツー・4Dフレームワークを提案する。
我々の手法は、品質と効率の両面で既存の手法を超越している。
動作を多種多様な4Dエンティティにシームレスに転送する新しいアプリケーションを考案する。
論文 参考訳（メタデータ） (2024-04-04T18:05:18Z) - Align Your Gaussians: Text-to-4D with Dynamic 3D Gaussians and Composed
Diffusion Models [94.07744207257653]
我々は、探索されていないテキストから4D設定に焦点をあて、動的にアニメーションされた3Dオブジェクトを合成する。
4次元オブジェクト最適化において,テキスト・ツー・イメージ,テキスト・ツー・ビデオ,および3次元認識型多視点拡散モデルを組み合わせてフィードバックを提供する。
論文 参考訳（メタデータ） (2023-12-21T11:41:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。