論文の概要: Voyaging into Unbounded Dynamic Scenes from a Single View

• arxiv url: http://arxiv.org/abs/2507.04183v1
• Date: Sat, 05 Jul 2025 22:49:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.055973
• Title: Voyaging into Unbounded Dynamic Scenes from a Single View
• Title（参考訳）: 単一視点からの非有界なダイナミックシーンへのヴォイジング
• Authors: Fengrui Tian, Tianjiao Ding, Jinqi Luo, Hancheng Min, René Vidal,
• Abstract要約: そこで本稿では,動的シーン生成を動的コンテンツのシーン露光プロセスとして再構成するDynamicVoyagerを提案する。 我々は、この部分的な映像を新しい視点でレンダリングし、点雲からの光コンテキストで映像を映し出し、3D一貫した動きを生成する。 実験により、我々のモデルは、フライスルーカメラに沿って一貫した動きで、境界のないシーンを生成できることが示されている。
• 参考スコア（独自算出の注目度）: 31.85867311855001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the problem of generating an unbounded dynamic scene from a single view, which has wide applications in augmented/virtual reality and robotics. Since the scene is changing over time, different generated views need to be consistent with the underlying 3D motions. While previous works learn such consistency by training from multiple views, the generated scene regions are bounded to be close to the training views with limited camera movements. To address this issue, we propose DynamicVoyager that reformulates the dynamic scene generation as a scene outpainting process for new dynamic content. As 2D outpainting models can hardly generate 3D consistent motions from only 2D pixels at a single view, we consider pixels as rays to enrich the pixel input with the ray context, so that the 3D motion consistency can be learned from the ray information. More specifically, we first map the single-view video input to a dynamic point cloud with the estimated video depths. Then we render the partial video at a novel view and outpaint the video with ray contexts from the point cloud to generate 3D consistent motions. We employ the outpainted video to update the point cloud, which is used for scene outpainting from future novel views. Experiments show that our model is able to generate unbounded scenes with consistent motions along fly-through cameras, and the generated contents can be controlled with scene prompts.
• Abstract（参考訳）: 本稿では,拡張現実・仮想現実感・ロボット工学に広く応用されている,単一の視点から非有界なダイナミックシーンを生成する問題について考察する。 シーンは時間とともに変化しているので、異なる生成されたビューは、基礎となる3Dモーションと一致する必要がある。 過去の研究では、複数の視点からトレーニングすることで、このような一貫性を学習する一方で、生成されたシーン領域は、カメラの動きに制限のあるトレーニングビューに近いように制限されている。 この問題に対処するため,我々は動的シーン生成を動的コンテンツのシーン出力プロセスとして再構成するDynamicVoyagerを提案する。 2Dアウトパインティングモデルでは、単一の視点で2Dピクセルのみから3D一貫した動きを生成できないため、画素を光線情報から3D一貫した動きを学習できるように、画素を光線入力をリッチ化するための光線とみなす。 より具体的には、単視点ビデオ入力を推定されたビデオ深度で動的ポイントクラウドにマッピングする。 そして、その部分的な映像を新しい視点でレンダリングし、点雲からの光コンテキストで映像を映し出し、3D一貫した動きを生成する。 アウトペイントされたビデオを用いてポイントクラウドを更新する。 実験により,本モデルでは,フライスルーカメラに沿って一貫した動きを持つ非有界シーンを生成でき,生成したコンテンツはシーンプロンプトで制御可能であることが示された。

関連論文リスト

• DreamJourney: Perpetual View Generation with Video Diffusion Models [91.88716097573206]
  永続ビュー生成は、単一の入力画像からのみ任意のカメラ軌跡に対応する長期映像を合成することを目的としている。 近年の手法では、予め訓練されたテキスト・画像拡散モデルを用いて、カメラの動きに沿った未確認領域の新しいコンテンツを合成する。 本稿では,映像拡散モデルの世界シミュレーション能力を活用して,新たなシーンビュー生成タスクを起動する2段階フレームワークであるDreamJourneyを紹介する。
  論文  参考訳（メタデータ） (2025-06-21T12:51:34Z)
• PaintScene4D: Consistent 4D Scene Generation from Text Prompts [29.075849524496707]
  PaintScene4Dは、新しいテキストから4Dのシーン生成フレームワークである。 さまざまな現実世界のデータセットでトレーニングされたビデオ生成モデルを活用する。 任意の軌道から見ることができるリアルな4Dシーンを生成する。
  論文  参考訳（メタデータ） (2024-12-05T18:59:57Z)
• Forecasting Future Videos from Novel Views via Disentangled 3D Scene Representation [54.60804602905519]
  我々は、階層化されたシーン形状、動き予測、新しいビュー合成を一緒にモデル化することを目的として、絡み合った表現を学習する。 本手法では,2次元のシーンを3次元の点群に持ち上げることによって,シーン形状をシーンの動きから切り離す。 将来の3次元シーンの動作をモデル化するために,まず自我運動を予測し,その後に動的物体の残留運動を予測する2段階のアンタングル手法を提案する。
  論文  参考訳（メタデータ） (2024-07-31T08:54:50Z)
• Make-It-4D: Synthesizing a Consistent Long-Term Dynamic Scene Video from a Single Image [59.18564636990079]
  本研究では,1枚の画像のみから長期ダイナミック映像を合成する問題について検討する。 既存の方法は、一貫性のない永遠の視点を幻覚させるか、長いカメラの軌跡に苦しむかのいずれかである。 一つの画像から一貫した長期動画像を生成する新しい方法であるMake-It-4Dを提案する。
  論文  参考訳（メタデータ） (2023-08-20T12:53:50Z)
• Decoupling Dynamic Monocular Videos for Dynamic View Synthesis [50.93409250217699]
  動的モノクロビデオからの動的ビュー合成の課題を教師なしで解決する。 具体的には、動的物体の運動を物体の動きとカメラの動きに分離し、教師なし表面の整合性およびパッチベースのマルチビュー制約によって規則化する。
  論文  参考訳（メタデータ） (2023-04-04T11:25:44Z)
• 3D Cinemagraphy from a Single Image [73.09720823592092]
  3Dシネマグラフィー(3D Cinemagraphy)は、3D画像と2Dアニメーションを融合させる新しい技術である。 静止画1枚を入力として、視覚コンテンツアニメーションとカメラモーションの両方を含むビデオを生成することを目標としています。
  論文  参考訳（メタデータ） (2023-03-10T06:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。