論文の概要: Driving Scene Synthesis on Free-form Trajectories with Generative Prior

• arxiv url: http://arxiv.org/abs/2412.01717v1
• Date: Mon, 02 Dec 2024 17:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:56.339785
• Title: Driving Scene Synthesis on Free-form Trajectories with Generative Prior
• Title（参考訳）: 生成先行した自由形軌道の駆動シーン合成
• Authors: Zeyu Yang, Zijie Pan, Yuankun Yang, Xiatian Zhu, Li Zhang,
• Abstract要約: 我々はDriveXと呼ばれる新しいフリーフォーム駆動ビュー合成手法を提案する。 得られたモデルにより、記録軌道外の高忠実度仮想運転環境を作成できる。 実際の運転シーン以外にも、DriveXはAI生成ビデオから仮想運転世界をシミュレートすることもできる。
• 参考スコア（独自算出の注目度）: 39.24591650300784
• License:
• Abstract: Driving scene synthesis along free-form trajectories is essential for driving simulations to enable closed-loop evaluation of end-to-end driving policies. While existing methods excel at novel view synthesis on recorded trajectories, they face challenges with novel trajectories due to limited views of driving videos and the vastness of driving environments. To tackle this challenge, we propose a novel free-form driving view synthesis approach, dubbed DriveX, by leveraging video generative prior to optimize a 3D model across a variety of trajectories. Concretely, we crafted an inverse problem that enables a video diffusion model to be utilized as a prior for many-trajectory optimization of a parametric 3D model (e.g., Gaussian splatting). To seamlessly use the generative prior, we iteratively conduct this process during optimization. Our resulting model can produce high-fidelity virtual driving environments outside the recorded trajectory, enabling free-form trajectory driving simulation. Beyond real driving scenes, DriveX can also be utilized to simulate virtual driving worlds from AI-generated videos.
• Abstract（参考訳）: エンド・ツー・エンドの運転ポリシーのクローズドループ評価を可能にするために, 走行シミュレーションにおいて, 自由形軌道に沿ったシーン合成が不可欠である。 既存の手法は、記録された軌跡の新たなビュー合成において優れているが、運転映像の限られたビューと運転環境の広さのために、新しい軌跡の課題に直面している。 この課題に対処するために,様々な軌跡にまたがる3次元モデルの最適化に先立って,ビデオ生成を活用することで,DriveXと呼ばれる新しいフリーフォーム駆動ビュー合成手法を提案する。 具体的には,パラメトリック3次元モデル(ガウススプラッティングなど)の多軌道最適化の先駆けとして,ビデオ拡散モデルを利用できる逆問題を構築した。 生成前処理をシームレスに利用するためには、最適化中に反復的にこのプロセスを実行する。 得られたモデルにより,記録軌道外における高忠実度仮想駆動環境が生成可能となり,自由形軌道駆動シミュレーションが可能となった。 実際の運転シーン以外にも、DriveXはAI生成ビデオから仮想運転世界をシミュレートすることもできる。

関連論文リスト

• From Dashcam Videos to Driving Simulations: Stress Testing Automated Vehicles against Rare Events [5.132984904858975]
  現実的な運転シナリオを用いたシミュレーションにおける自動運転システム(ADS)のテストは、その性能を検証する上で重要である。 本稿では,現実の自動車事故映像の詳細なシミュレーションシナリオへの変換を自動化する新しいフレームワークを提案する。 予備結果は,完全自動化と人的介入を伴わず,リアルタイム変換を数分で完了させるという,かなりの時間効率を示した。
  論文  参考訳（メタデータ） (2024-11-25T01:01:54Z)
• FreeVS: Generative View Synthesis on Free Driving Trajectory [55.49370963413221]
  FreeVSは、実際の運転シーンで、無料の新しい軌跡のカメラビューを合成できる、新しい完全に生成的なアプローチである。 FreeVSは、新しいトラジェクトリの再構成プロセスや合成ビューなしで、バリデーションシーケンスに適用できる。
  論文  参考訳（メタデータ） (2024-10-23T17:59:11Z)
• GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model [6.144680854063938]
  GenDDSは、自律運転システムの運転シナリオを生成するための新しいアプローチである。 我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。 実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。
  論文  参考訳（メタデータ） (2024-08-28T15:37:44Z)
• AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction [17.600027937450342]
  AutoSplatは、自動走行シーンの高度に現実的な再構築を実現するために、ガウシアンスプラッティングを使用したフレームワークである。 本手法は,車線変更を含む課題シナリオの多視点一貫したシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2024-07-02T18:36:50Z)
• TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
  提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。 我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。 提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:55:11Z)
• Trace and Pace: Controllable Pedestrian Animation via Guided Trajectory Diffusion [83.88829943619656]
  本研究では,現実的な歩行者軌跡生成手法と,ユーザ定義目標を達成するために制御可能なフルボディアニメーションを提案する。 我々のガイド付き拡散モデルでは,対象とする経路,速度,特定社会集団による軌道の制約が可能である。 本稿では,アニメーションコントローラのRLトレーニング中に学習した値関数を用いて,拡散を誘導し,特定のシナリオに適した軌道を生成することを提案する。
  論文  参考訳（メタデータ） (2023-04-04T15:46:42Z)
• TrajGen: Generating Realistic and Diverse Trajectories with Reactive and Feasible Agent Behaviors for Autonomous Driving [19.06020265777298]
  既存のシミュレーターは、背景車両のシステムに基づく行動モデルに依存しており、現実のシナリオにおける複雑なインタラクティブな振る舞いを捉えることはできない。 そこで我々は,人間の実演からより現実的な行動を直接捉えることができる2段階の軌道生成フレームワークであるTrajGenを提案する。 また,データ駆動型シミュレータI-Simを開発した。
  論文  参考訳（メタデータ） (2022-03-31T04:48:29Z)
• Path Planning Followed by Kinodynamic Smoothing for Multirotor Aerial Vehicles (MAVs) [61.94975011711275]
  そこで本稿では,RRT*textquotedblrightのテキストを幾何学的にベースとした動き計画手法を提案する。 提案手法では,適応探索空間とステアリング機能を導入したオリジナルのRT*を改良した。 提案手法を様々なシミュレーション環境で検証した。
  論文  参考訳（メタデータ） (2020-08-29T09:55:49Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。