論文の概要: Pixel-to-4D: Camera-Controlled Image-to-Video Generation with Dynamic 3D Gaussians

• arxiv url: http://arxiv.org/abs/2601.00678v1
• Date: Fri, 02 Jan 2026 13:04:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.572446
• Title: Pixel-to-4D: Camera-Controlled Image-to-Video Generation with Dynamic 3D Gaussians
• Title（参考訳）: Pixel-to-4D:ダイナミック3Dガウスを用いたカメラ制御画像合成
• Authors: Melonie de Almeida, Daniela Ivanova, Tong Shi, John H. Williamson, Paul Henderson,
• Abstract要約: 人間は、1つの画像だけを与えられたシーンの将来のダイナミクスを予測するのに優れています。 この能力を模倣できるビデオ生成モデルは、インテリジェントシステムにとって不可欠なコンポーネントである。 最近のアプローチでは、単一画像条件のビデオ生成における時間的コヒーレンスと3次元の整合性が改善されている。
• 参考スコア（独自算出の注目度）: 7.051077403685518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans excel at forecasting the future dynamics of a scene given just a single image. Video generation models that can mimic this ability are an essential component for intelligent systems. Recent approaches have improved temporal coherence and 3D consistency in single-image-conditioned video generation. However, these methods often lack robust user controllability, such as modifying the camera path, limiting their applicability in real-world applications. Most existing camera-controlled image-to-video models struggle with accurately modeling camera motion, maintaining temporal consistency, and preserving geometric integrity. Leveraging explicit intermediate 3D representations offers a promising solution by enabling coherent video generation aligned with a given camera trajectory. Although these methods often use 3D point clouds to render scenes and introduce object motion in a later stage, this two-step process still falls short in achieving full temporal consistency, despite allowing precise control over camera movement. We propose a novel framework that constructs a 3D Gaussian scene representation and samples plausible object motion, given a single image in a single forward pass. This enables fast, camera-guided video generation without the need for iterative denoising to inject object motion into render frames. Extensive experiments on the KITTI, Waymo, RealEstate10K and DL3DV-10K datasets demonstrate that our method achieves state-of-the-art video quality and inference efficiency. The project page is available at https://melonienimasha.github.io/Pixel-to-4D-Website.
• Abstract（参考訳）: 人間は、1つの画像だけを与えられたシーンの将来のダイナミクスを予測するのに優れています。 この能力を模倣できるビデオ生成モデルは、インテリジェントシステムにとって不可欠なコンポーネントである。 最近のアプローチでは、単一画像条件のビデオ生成における時間的コヒーレンスと3次元の整合性が改善されている。 しかしながら、これらの手法は、カメラパスの変更や現実世界のアプリケーションへの適用性制限など、堅牢なユーザ制御性に欠けることが多い。 既存のカメラ制御画像・ビデオモデルの多くは、カメラの動きを正確にモデル化し、時間的一貫性を維持し、幾何学的整合性を維持するのに苦労している。 明示的な中間3D表現の活用は、所定のカメラ軌跡に整合したコヒーレントなビデオ生成を可能にすることで、有望なソリューションを提供する。 これらの方法は、しばしば3Dポイントの雲を使ってシーンをレンダリングし、後段で物体の動きを導入するが、この2ステップのプロセスは、カメラの動きを正確に制御できるにもかかわらず、完全な時間的一貫性を達成するには不十分である。 本稿では,1枚のフォワードパスに1枚の画像が与えられた場合の3次元ガウスシーン表現と可視物体の動きのサンプルを作成する新しいフレームワークを提案する。 これにより、レンダリングフレームにオブジェクトの動きを注入する反復的認知を必要とせずに、高速でカメラ誘導のビデオ生成が可能になる。 KITTI、Waymo、RealEstate10K、DL3DV-10Kデータセットの大規模な実験により、我々の手法が最先端のビデオ品質と推論効率を達成することを示す。 プロジェクトページはhttps://melonienimasha.github.io/Pixel-to-4D-Websiteで公開されている。

関連論文リスト

• S^2VG: 3D Stereoscopic and Spatial Video Generation via Denoising Frame Matrix [60.060882467801484]
  そこで本研究では,既製の単眼ビデオ生成モデルを利用して,没入型3Dビデオを生成する,ポーズフリーかつトレーニングフリーな手法を提案する。 提案手法はまず,生成したモノクロ映像を推定深度情報を用いて予め定義されたカメラ視点にワープし,新しいテキストフレーム・マトリクス・インペイント・フレームワークを適用した。 提案手法の有効性は,Sora, Lumiere, WALT, Zeroscope など,様々な生成モデルを用いた実験により検証した。
  論文  参考訳（メタデータ） (2025-08-11T14:50:03Z)
• DreamJourney: Perpetual View Generation with Video Diffusion Models [91.88716097573206]
  永続ビュー生成は、単一の入力画像からのみ任意のカメラ軌跡に対応する長期映像を合成することを目的としている。 近年の手法では、予め訓練されたテキスト・画像拡散モデルを用いて、カメラの動きに沿った未確認領域の新しいコンテンツを合成する。 本稿では,映像拡散モデルの世界シミュレーション能力を活用して,新たなシーンビュー生成タスクを起動する2段階フレームワークであるDreamJourneyを紹介する。
  論文  参考訳（メタデータ） (2025-06-21T12:51:34Z)
• Generating 3D-Consistent Videos from Unposed Internet Photos [68.944029293283]
  カメラパラメータなどの3Dアノテーションを使わずに,スケーラブルな3D対応ビデオモデルをトレーニングする。 その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
  論文  参考訳（メタデータ） (2024-11-20T18:58:31Z)
• CamCo: Camera-Controllable 3D-Consistent Image-to-Video Generation [117.16677556874278]
  我々はCamCoを導入し、細粒度カメラのポーズ制御を画像からビデオへ生成する。 生成したビデオの3D一貫性を高めるため,各アテンションブロックにエピポーラアテンションモジュールを統合する。 実験の結果,CamCoは従来のモデルに比べて3次元の整合性とカメラ制御能力を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-04T17:27:19Z)
• OneTo3D: One Image to Re-editable Dynamic 3D Model and Video Generation [0.0]
  編集可能なダイナミック3Dモデルとビデオ生成のための1つの画像は、単一の画像の研究領域を3D表現や画像の3D再構成に変換する新しい方向と変化である。 編集可能な3Dモデルを生成し,対象とする連続時間無制限の3Dビデオを生成するために,単一の画像を使用する方法と理論であるOneTo3Dを提案する。
  論文  参考訳（メタデータ） (2024-05-10T15:44:11Z)
• Efficient4D: Fast Dynamic 3D Object Generation from a Single-view Video [42.10482273572879]
  本稿では,効率的な4Dオブジェクト生成フレームワークであるEfficient4Dを提案する。 異なるカメラビューの下で高品質な時空一貫性の画像を生成し、ラベル付きデータとして使用する。 合成ビデオと実ビデオの両方の実験によると、Efficient4Dのスピードは10倍に向上している。
  論文  参考訳（メタデータ） (2024-01-16T18:58:36Z)
• Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from a Single Image [59.18564636990079]
  本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。 既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。 一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
  論文  参考訳（メタデータ） (2023-08-20T12:53:50Z)
• PV3D: A 3D Generative Model for Portrait Video Generation [94.96025739097922]
  我々は,多視点一貫した肖像画を合成できる最初の生成フレームワークであるPV3Dを提案する。 PV3Dは、静的ポートレートのアニメーションやビュー一貫性のあるビデオモーション編集など、多くのダウンストリームアプリケーションをサポートすることができる。
  論文  参考訳（メタデータ） (2022-12-13T05:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。