論文の概要: Gen4P: Video Generators are 4D Perceivers

• arxiv url: http://arxiv.org/abs/2610.22371v1
• Date: Thu, 15 Oct 2026 17:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.285251
• Title: Gen4P: Video Generators are 4D Perceivers
• Title（参考訳）: Gen4P:ビデオジェネレータは4DPerceivers
• Abstract要約: Gen4Pは、モノクロビデオから4Dの幾何学と動きを復元するためのフレームワークである。 単一のエンコーダパスでクリーンなビデオラテントを処理し、軽量なクロスアテンションデコーダを通じて要求された4D属性を予測する。 3Dポイントトラッキング、ビデオ深度、カメラポーズ推定といったタスクにおいて、最先端または競合的なパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 19.923902581839105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Gen4P, a unified framework for recovering 4D geometry and motion from monocular video. We show that a pretrained video generator can be repurposed into a feed-forward 4D perceiver without iterative denoising. Building on on-demand querying, Gen4P processes clean video latents in a single encoder pass and predicts the requested 4D attributes through a lightweight cross-attention decoder. The on-demand query formulation enables flexible spatial sampling, and our proposed continuous-time queries further provide temporal flexibility. To strengthen geometric knowledge, we propose a straightforward plug-in solution by incorporating a pretrained video-depth LoRA as a frozen geometry prior, improving overall performance without adding extra trainable parameters. Gen4P achieves state-of-the-art or competitive performance on tasks of 3D point tracking, video depth and camera pose estimation. Qualitative results on in-the-wild videos illustrate its capability of tracking complex motion while maintaining the delicate structure. Together, these results demonstrate the potential of video generative pretraining for unified 4D perception. See https://gen4p.github.io for more visual results.
• Abstract（参考訳）: モノクロビデオから4次元形状と動きを復元するための統一的なフレームワークであるGen4Pを紹介する。 本研究では,事前学習した映像生成装置を,反復的認知を伴わずにフィードフォワード4D知覚器に再利用可能であることを示す。 オンデマンドクエリに基づいて、Gen4Pは、単一のエンコーダパスでクリーンなビデオラテントを処理し、軽量なクロスアテンションデコーダを通じて要求される4D属性を予測する。 オンデマンドクエリの定式化により、フレキシブルな空間サンプリングが可能となり、提案した連続的なクエリにより、時間的柔軟性がさらに向上する。 そこで本研究では,事前学習したビデオ深度LORAを凍結幾何として組み込んだ簡単なプラグインソリューションを提案する。 Gen4Pは、3Dポイントトラッキング、ビデオ深度、カメラポーズ推定といったタスクにおいて、最先端または競合的なパフォーマンスを達成する。 in-the-wildビデオの質的な結果は、繊細な構造を維持しながら複雑な動きを追跡する能力を示している。 これらの結果は、統合された4次元知覚のためのビデオ生成前訓練の可能性を示している。 詳しくはhttps://gen4p.github.ioを参照。

関連論文リスト

• Tracking-Guided 4D Generation: Foundation-Tracker Motion Priors for 3D Model Animation [21.075786141331974]
  スパース入力から動的4Dオブジェクトを生成するフレームワークであるemphTrack4DGenを提案する。 ステージ1では拡散発生器内の高密度な特徴レベル対応を強制する。 ステージ2では,ハイブリッドモーション符号化を用いて動的4D-GSを再構成する。
  論文  参考訳（メタデータ） (2025-12-05T21:13:04Z)
• Joint 3D Geometry Reconstruction and Motion Generation for 4D Synthesis from a Single Image [88.71287865590273]
  そこでTrajScene-60Kについて紹介する。 拡散型4次元シーン軌道生成装置(4D-STraG)を提案する。 次に、4Dポイントトラック表現から任意のカメラトラジェクトリでビデオをレンダリングする4Dビュー合成モジュール(4D-Vi)を提案する。
  論文  参考訳（メタデータ） (2025-12-04T17:59:10Z)
• Diff4Splat: Controllable 4D Scene Generation with Latent Dynamic Reconstruction Models [79.06910348413861]
  Diff4Splatは、単一の画像から制御可能で明示的な4Dシーンを合成するフィードフォワード方式である。 単一の入力画像、カメラ軌跡、オプションのテキストプロンプトが与えられた場合、Diff4Splatは外見、幾何学、動きを符号化する変形可能な3Dガウス場を直接予測する。
  論文  参考訳（メタデータ） (2025-11-01T11:16:25Z)
• Restage4D: Reanimating Deformable 3D Reconstruction from a Single Video [56.781766315691854]
  ビデオ条件付き4D再生のための幾何学保存パイプラインである textbfRestage4D を紹介する。 DAVIS と PointOdyssey 上のRestage4D の有効性を検証し,幾何整合性,運動品質,3次元追跡性能の向上を実証した。
  論文  参考訳（メタデータ） (2025-08-08T21:31:51Z)
• GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking [38.104532522698285]
  ビデオ拡散変換器(DiT)を直接訓練して4Dコンテンツを制御するには、高価なマルチビュービデオが必要である。 モノクロ・ダイナミック・ノベル・ビュー・シンセサイザー (MDVS) に触発され, 擬似4次元ガウス場を映像生成に適用した。 プレトレーニング済みのDiTを微調整して、GS-DiTと呼ばれるレンダリングされたビデオのガイダンスに従ってビデオを生成する。
  論文  参考訳（メタデータ） (2025-01-05T23:55:33Z)
• 4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency [118.15258850780417]
  textbf4DGenは、4Dコンテンツ作成のための新しいフレームワークである。 我々のパイプラインは、制御可能な4D生成を容易にし、ユーザがモノクロビデオで動きを指定したり、画像から映像への世代を適用できる。 既存のビデオから4Dのベースラインと比較すると,入力信号の忠実な再構成には優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-12-28T18:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。