論文の概要: Driving Scene Synthesis on Free-form Trajectories with Generative Prior

• arxiv url: http://arxiv.org/abs/2412.01717v1
• Date: Mon, 02 Dec 2024 17:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:56.339785
• Title: Driving Scene Synthesis on Free-form Trajectories with Generative Prior
• Title（参考訳）: 生成先行した自由形軌道の駆動シーン合成
• Authors: Zeyu Yang, Zijie Pan, Yuankun Yang, Xiatian Zhu, Li Zhang,
• Abstract要約: 我々はDriveXと呼ばれる新しいフリーフォーム駆動ビュー合成手法を提案する。 得られたモデルにより、記録軌道外の高忠実度仮想運転環境を作成できる。 実際の運転シーン以外にも、DriveXはAI生成ビデオから仮想運転世界をシミュレートすることもできる。
• 参考スコア（独自算出の注目度）: 39.24591650300784
• License:
• Abstract: Driving scene synthesis along free-form trajectories is essential for driving simulations to enable closed-loop evaluation of end-to-end driving policies. While existing methods excel at novel view synthesis on recorded trajectories, they face challenges with novel trajectories due to limited views of driving videos and the vastness of driving environments. To tackle this challenge, we propose a novel free-form driving view synthesis approach, dubbed DriveX, by leveraging video generative prior to optimize a 3D model across a variety of trajectories. Concretely, we crafted an inverse problem that enables a video diffusion model to be utilized as a prior for many-trajectory optimization of a parametric 3D model (e.g., Gaussian splatting). To seamlessly use the generative prior, we iteratively conduct this process during optimization. Our resulting model can produce high-fidelity virtual driving environments outside the recorded trajectory, enabling free-form trajectory driving simulation. Beyond real driving scenes, DriveX can also be utilized to simulate virtual driving worlds from AI-generated videos.
• Abstract（参考訳）: エンド・ツー・エンドの運転ポリシーのクローズドループ評価を可能にするために, 走行シミュレーションにおいて, 自由形軌道に沿ったシーン合成が不可欠である。 既存の手法は、記録された軌跡の新たなビュー合成において優れているが、運転映像の限られたビューと運転環境の広さのために、新しい軌跡の課題に直面している。 この課題に対処するために,様々な軌跡にまたがる3次元モデルの最適化に先立って,ビデオ生成を活用することで,DriveXと呼ばれる新しいフリーフォーム駆動ビュー合成手法を提案する。 具体的には,パラメトリック3次元モデル(ガウススプラッティングなど)の多軌道最適化の先駆けとして,ビデオ拡散モデルを利用できる逆問題を構築した。 生成前処理をシームレスに利用するためには、最適化中に反復的にこのプロセスを実行する。 得られたモデルにより,記録軌道外における高忠実度仮想駆動環境が生成可能となり,自由形軌道駆動シミュレーションが可能となった。 実際の運転シーン以外にも、DriveXはAI生成ビデオから仮想運転世界をシミュレートすることもできる。

関連論文リスト

• DreamDrive: Generative 4D Scene Modeling from Street View Images [55.45852373799639]
  生成と再構成の利点を組み合わせた4次元時空間シーン生成手法であるDreamDriveを提案する。 具体的には,映像拡散モデルの生成力を利用して,映像参照のシーケンスを合成する。 次に、ガウシアンスプラッティングで3D一貫性のあるドライビングビデオをレンダリングします。
  論文  参考訳（メタデータ） (2024-12-31T18:59:57Z)
• Stag-1: Towards Realistic 4D Driving Simulation with Video Generation Model [83.31688383891871]
  本稿では,現実世界のシーンを再現するために,DrivinG(Stag-1)モデルのための空間-テンポラル・シミュレートを提案する。 Stag-1は、自動運転車のサラウンドビューデータを使用して、連続した4Dポイントのクラウドシーンを構築する。 空間的時間的関係を分離し、コヒーレントな運転ビデオを生成する。
  論文  参考訳（メタデータ） (2024-12-06T18:59:56Z)
• InfiniCube: Unbounded and Controllable Dynamic 3D Driving Scene Generation with World-Guided Video Models [75.03495065452955]
  InfiniCubeはダイナミックな3次元駆動シーンを高忠実かつ制御性で生成するスケーラブルな方法である。 制御可能でリアルな3Dドライビングシーンを生成でき、モデルの有効性と優越性を広範囲にわたる実験により検証できる。
  論文  参考訳（メタデータ） (2024-12-05T07:32:20Z)
• From Dashcam Videos to Driving Simulations: Stress Testing Automated Vehicles against Rare Events [5.132984904858975]
  現実的な運転シナリオを用いたシミュレーションにおける自動運転システム(ADS)のテストは、その性能を検証する上で重要である。 本稿では,現実の自動車事故映像の詳細なシミュレーションシナリオへの変換を自動化する新しいフレームワークを提案する。 予備結果は,完全自動化と人的介入を伴わず,リアルタイム変換を数分で完了させるという,かなりの時間効率を示した。
  論文  参考訳（メタデータ） (2024-11-25T01:01:54Z)
• FreeVS: Generative View Synthesis on Free Driving Trajectory [55.49370963413221]
  FreeVSは、実際の運転シーンで、無料の新しい軌跡のカメラビューを合成できる、新しい完全に生成的なアプローチである。 FreeVSは、新しいトラジェクトリの再構成プロセスや合成ビューなしで、バリデーションシーケンスに適用できる。
  論文  参考訳（メタデータ） (2024-10-23T17:59:11Z)
• GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model [6.144680854063938]
  GenDDSは、自律運転システムの運転シナリオを生成するための新しいアプローチである。 我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。 実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。
  論文  参考訳（メタデータ） (2024-08-28T15:37:44Z)
• AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction [17.600027937450342]
  AutoSplatは、自動走行シーンの高度に現実的な再構築を実現するために、ガウシアンスプラッティングを使用したフレームワークである。 本手法は,車線変更を含む課題シナリオの多視点一貫したシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2024-07-02T18:36:50Z)
• Trace and Pace: Controllable Pedestrian Animation via Guided Trajectory Diffusion [83.88829943619656]
  本研究では,現実的な歩行者軌跡生成手法と,ユーザ定義目標を達成するために制御可能なフルボディアニメーションを提案する。 我々のガイド付き拡散モデルでは,対象とする経路,速度,特定社会集団による軌道の制約が可能である。 本稿では,アニメーションコントローラのRLトレーニング中に学習した値関数を用いて,拡散を誘導し,特定のシナリオに適した軌道を生成することを提案する。
  論文  参考訳（メタデータ） (2023-04-04T15:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。