論文の概要: StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models

• arxiv url: http://arxiv.org/abs/2412.13188v1
• Date: Tue, 17 Dec 2024 18:58:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:58:17.934571
• Title: StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models
• Title（参考訳）: StreetCrafter: 制御可能なビデオ拡散モデルによるストリートビューの合成
• Authors: Yunzhi Yan, Zhen Xu, Haotong Lin, Haian Jin, Haoyu Guo, Yida Wang, Kun Zhan, Xianpeng Lang, Hujun Bao, Xiaowei Zhou, Sida Peng,
• Abstract要約: 我々は,LDARポイントクラウドレンダリングをピクセルレベルの条件として利用する,制御可能なビデオ拡散モデルであるStreetCrafterを紹介する。 さらに、画素レベルのLiDAR条件を利用することで、ターゲットシーンに対して正確なピクセルレベルの編集を行うことができる。 我々のモデルは視点変化を柔軟に制御し、レンダリング領域を満たすためのビューを拡大する。
• 参考スコア（独自算出の注目度）: 59.55232046525733
• License:
• Abstract: This paper aims to tackle the problem of photorealistic view synthesis from vehicle sensor data. Recent advancements in neural scene representation have achieved notable success in rendering high-quality autonomous driving scenes, but the performance significantly degrades as the viewpoint deviates from the training trajectory. To mitigate this problem, we introduce StreetCrafter, a novel controllable video diffusion model that utilizes LiDAR point cloud renderings as pixel-level conditions, which fully exploits the generative prior for novel view synthesis, while preserving precise camera control. Moreover, the utilization of pixel-level LiDAR conditions allows us to make accurate pixel-level edits to target scenes. In addition, the generative prior of StreetCrafter can be effectively incorporated into dynamic scene representations to achieve real-time rendering. Experiments on Waymo Open Dataset and PandaSet demonstrate that our model enables flexible control over viewpoint changes, enlarging the view synthesis regions for satisfying rendering, which outperforms existing methods.
• Abstract（参考訳）: 本稿では,車両センサデータからの光リアルビュー合成の課題に取り組むことを目的とする。 近年のニューラルシーン表現の進歩は、高品質な自律走行シーンのレンダリングにおいて顕著な成功を収めているが、トレーニング軌跡から視点が逸脱するにつれて、性能は著しく低下している。 この問題を軽減するために,LDARポイントクラウドレンダリングを画素レベルの条件として利用する,制御可能な新しいビデオ拡散モデルであるStreetCrafterを導入する。 さらに、画素レベルのLiDAR条件を利用することで、ターゲットシーンに対して正確な画素レベルの編集を行うことができる。 さらに、StreetCrafterの生成前は、リアルタイムレンダリングを実現するために、動的シーン表現に効果的に組み込むことができる。 Waymo Open DatasetとPandaSetの実験は、我々のモデルが視点変化を柔軟に制御できることを示した。

関連論文リスト

• FreeVS: Generative View Synthesis on Free Driving Trajectory [55.49370963413221]
  FreeVSは、実際の運転シーンで、無料の新しい軌跡のカメラビューを合成できる、新しい完全に生成的なアプローチである。 FreeVSは、新しいトラジェクトリの再構成プロセスや合成ビューなしで、バリデーションシーケンスに適用できる。
  論文  参考訳（メタデータ） (2024-10-23T17:59:11Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• LidaRF: Delving into Lidar for Neural Radiance Field on Street Scenes [73.65115834242866]
  光リアリスティックシミュレーションは、自律運転のようなアプリケーションにおいて重要な役割を果たす。 しかし, コリニアカメラの動作やスペーサーのサンプリングにより, 街路景観の再現性は低下する。 街路面のNeRF品質を改善するために,Lidarデータのより優れた利用を可能にするいくつかの知見を提案する。
  論文  参考訳（メタデータ） (2024-05-01T23:07:12Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video [22.613946218766802]
  UrbanIRは、1つのビデオで様々な照明条件下でのシーンのリアルで自由視点のレンダリングを可能にする新しい逆グラフィックモデルである。 形状、アルベド、可視性、そして太陽と空の照明は、車載カメラなど、幅広いベースラインのビデオから正確に推測する。 UrbanIRはこれらの問題に、逆グラフィック推論とレンダリングアーティファクトのエラーを減らす新たな損失で対処する。
  論文  参考訳（メタデータ） (2023-06-15T17:59:59Z)
• DynIBaR: Neural Dynamic Image-Based Rendering [79.44655794967741]
  複雑な動的シーンを描写したモノクロ映像から新しいビューを合成する問題に対処する。 我々は,近傍のビューから特徴を集約することで,新しい視点を合成するボリューム画像ベースのレンダリングフレームワークを採用する。 動的シーンデータセットにおける最先端手法の大幅な改善を示す。
  論文  参考訳（メタデータ） (2022-11-20T20:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。