論文の概要: Driving Scene Synthesis on Free-form Trajectories with Generative Prior

• arxiv url: http://arxiv.org/abs/2412.01717v1
• Date: Mon, 02 Dec 2024 17:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 21:11:22.667411
• Title: Driving Scene Synthesis on Free-form Trajectories with Generative Prior
• Title（参考訳）: 生成先行した自由形軌道の駆動シーン合成
• Authors: Zeyu Yang, Zijie Pan, Yuankun Yang, Xiatian Zhu, Li Zhang,
• Abstract要約: 我々はDriveXと呼ばれる新しいフリーフォーム駆動ビュー合成手法を提案する。 得られたモデルにより、記録軌道外の高忠実度仮想運転環境を作成できる。 実際の運転シーン以外にも、DriveXはAI生成ビデオから仮想運転世界をシミュレートすることもできる。
• 参考スコア（独自算出の注目度）: 39.24591650300784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Driving scene synthesis along free-form trajectories is essential for driving simulations to enable closed-loop evaluation of end-to-end driving policies. While existing methods excel at novel view synthesis on recorded trajectories, they face challenges with novel trajectories due to limited views of driving videos and the vastness of driving environments. To tackle this challenge, we propose a novel free-form driving view synthesis approach, dubbed DriveX, by leveraging video generative prior to optimize a 3D model across a variety of trajectories. Concretely, we crafted an inverse problem that enables a video diffusion model to be utilized as a prior for many-trajectory optimization of a parametric 3D model (e.g., Gaussian splatting). To seamlessly use the generative prior, we iteratively conduct this process during optimization. Our resulting model can produce high-fidelity virtual driving environments outside the recorded trajectory, enabling free-form trajectory driving simulation. Beyond real driving scenes, DriveX can also be utilized to simulate virtual driving worlds from AI-generated videos.
• Abstract（参考訳）: エンド・ツー・エンドの運転ポリシーのクローズドループ評価を可能にするために, 走行シミュレーションにおいて, 自由形軌道に沿ったシーン合成が不可欠である。 既存の手法は、記録された軌跡の新たなビュー合成において優れているが、運転映像の限られたビューと運転環境の広さのために、新しい軌跡の課題に直面している。 この課題に対処するために,様々な軌跡にまたがる3次元モデルの最適化に先立って,ビデオ生成を活用することで,DriveXと呼ばれる新しいフリーフォーム駆動ビュー合成手法を提案する。 具体的には,パラメトリック3次元モデル(ガウススプラッティングなど)の多軌道最適化の先駆けとして,ビデオ拡散モデルを利用できる逆問題を構築した。 生成前処理をシームレスに利用するためには、最適化中に反復的にこのプロセスを実行する。 得られたモデルにより,記録軌道外における高忠実度仮想駆動環境が生成可能となり,自由形軌道駆動シミュレーションが可能となった。 実際の運転シーン以外にも、DriveXはAI生成ビデオから仮想運転世界をシミュレートすることもできる。

関連論文リスト

• VDEGaussian: Video Diffusion Enhanced 4D Gaussian Splatting for Dynamic Urban Scenes Modeling [68.65587507038539]
  本稿では,動的都市景観モデリングのための拡散強調4次元ガウス平滑化フレームワークを提案する。 我々の重要な洞察は、テスト時間に適応したビデオ拡散モデルから頑健で時間的に一貫した事前情報を抽出することである。 提案手法は, 高速移動物体の動的モデリングを著しく向上させ, 2dBのPSNRゲインを近似的に達成する。
  論文  参考訳（メタデータ） (2025-08-04T07:24:05Z)
• Enhanced Velocity Field Modeling for Gaussian Video Reconstruction [21.54297055995746]
  バーチャル・拡張現実(VR/AR)における動的シーンのリアルタイムレンダリングを実現するためには,高忠実度3次元映像再構成が不可欠である 本稿では,フローガウス-VR(FlowGaussian-VR)と呼ばれるガウスビデオ再構成に適した流速場モデリング手法を提案する。 フローベースの最適化を可能にする速度場レンダリング(VFR)パイプラインと、動的領域におけるガウス数とサイズを調整するフローアシスト適応密度化(FAD)戦略の2つのコアコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2025-07-31T16:26:22Z)
• ACT-R: Adaptive Camera Trajectories for Single View 3D Reconstruction [12.942796503696194]
  多視点合成に適応的な視点計画法を導入する。 我々は3次元コヒーレンスを高めるために時間的一貫性を活用して一連のビューを生成する。 本手法は, 未知のGSOデータセット上でのSOTA代替品の3次元再構成を改善する。
  論文  参考訳（メタデータ） (2025-05-13T05:31:59Z)
• MuDG: Taming Multi-modal Diffusion with Gaussian Splatting for Urban Scene Reconstruction [44.592566642185425]
  MuDGはマルチモーダル拡散モデルとガウススプラッティング(GS)を統合した革新的なフレームワークである。 我々は,MDGが再現性および光現実性合成品質の両方において,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:48:41Z)
• Hybrid Rendering for Multimodal Autonomous Driving: Merging Neural and Physics-Based Simulation [1.0027737736304287]
  ニューラル再構成の強みと物理ベースのレンダリングを組み合わせたハイブリッドアプローチを導入する。 提案手法は,特に道路面やレーンマーキングにおいて,新規なビュー合成品質を著しく向上させる。 ノイズの多いLiDAR点雲からの奥行き正則化により、元の画像上でカスタマイズされたNeRFモデルをトレーニングすることで、これを実現する。
  論文  参考訳（メタデータ） (2025-03-12T15:18:50Z)
• DreamDrive: Generative 4D Scene Modeling from Street View Images [55.45852373799639]
  生成と再構成の利点を組み合わせた4次元時空間シーン生成手法であるDreamDriveを提案する。 具体的には,映像拡散モデルの生成力を利用して,映像参照のシーケンスを合成する。 次に、ガウシアンスプラッティングで3D一貫性のあるドライビングビデオをレンダリングします。
  論文  参考訳（メタデータ） (2024-12-31T18:59:57Z)
• StreetCrafter: Street View Synthesis with Controllable Video Diffusion Models [59.55232046525733]
  我々は,LDARポイントクラウドレンダリングをピクセルレベルの条件として利用する,制御可能なビデオ拡散モデルであるStreetCrafterを紹介する。 さらに、画素レベルのLiDAR条件を利用することで、ターゲットシーンに対して正確なピクセルレベルの編集を行うことができる。 我々のモデルは視点変化を柔軟に制御し、レンダリング領域を満たすためのビューを拡大する。
  論文  参考訳（メタデータ） (2024-12-17T18:58:55Z)
• Stag-1: Towards Realistic 4D Driving Simulation with Video Generation Model [83.31688383891871]
  本稿では,現実世界のシーンを再現するために,DrivinG(Stag-1)モデルのための空間-テンポラル・シミュレートを提案する。 Stag-1は、自動運転車のサラウンドビューデータを使用して、連続した4Dポイントのクラウドシーンを構築する。 空間的時間的関係を分離し、コヒーレントな運転ビデオを生成する。
  論文  参考訳（メタデータ） (2024-12-06T18:59:56Z)
• InfiniCube: Unbounded and Controllable Dynamic 3D Driving Scene Generation with World-Guided Video Models [75.03495065452955]
  InfiniCubeはダイナミックな3次元駆動シーンを高忠実かつ制御性で生成するスケーラブルな方法である。 制御可能でリアルな3Dドライビングシーンを生成でき、モデルの有効性と優越性を広範囲にわたる実験により検証できる。
  論文  参考訳（メタデータ） (2024-12-05T07:32:20Z)
• From Dashcam Videos to Driving Simulations: Stress Testing Automated Vehicles against Rare Events [5.132984904858975]
  現実的な運転シナリオを用いたシミュレーションにおける自動運転システム(ADS)のテストは、その性能を検証する上で重要である。 本稿では,現実の自動車事故映像の詳細なシミュレーションシナリオへの変換を自動化する新しいフレームワークを提案する。 予備結果は,完全自動化と人的介入を伴わず,リアルタイム変換を数分で完了させるという,かなりの時間効率を示した。
  論文  参考訳（メタデータ） (2024-11-25T01:01:54Z)
• FreeVS: Generative View Synthesis on Free Driving Trajectory [55.49370963413221]
  FreeVSは、実際の運転シーンで、無料の新しい軌跡のカメラビューを合成できる、新しい完全に生成的なアプローチである。 FreeVSは、新しいトラジェクトリの再構成プロセスや合成ビューなしで、バリデーションシーケンスに適用できる。
  論文  参考訳（メタデータ） (2024-10-23T17:59:11Z)
• DriveScape: Towards High-Resolution Controllable Multi-View Driving Video Generation [10.296670127024045]
  DriveScapeは、マルチビュー、3D条件付きビデオ生成のためのエンドツーエンドフレームワークである。 我々のBi-Directional Modulated Transformer (BiMot)は3次元構造情報の正確なアライメントを保証する。 DriveScapeはビデオ生成性能に優れ、FIDスコア8.34、FVDスコア76.39でnuScenesデータセットの最先端結果を達成する。
  論文  参考訳（メタデータ） (2024-09-09T09:43:17Z)
• GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model [6.144680854063938]
  GenDDSは、自律運転システムの運転シナリオを生成するための新しいアプローチである。 我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。 実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。
  論文  参考訳（メタデータ） (2024-08-28T15:37:44Z)
• AutoSplat: Constrained Gaussian Splatting for Autonomous Driving Scene Reconstruction [17.600027937450342]
  AutoSplatは、自動走行シーンの高度に現実的な再構築を実現するために、ガウシアンスプラッティングを使用したフレームワークである。 本手法は,車線変更を含む課題シナリオの多視点一貫したシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2024-07-02T18:36:50Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• TC4D: Trajectory-Conditioned Text-to-4D Generation [94.90700997568158]
  提案するTC4D: trajectory-conditioned text-to-4D 生成は,グローバルおよびローカルなコンポーネントへの移動を要因とする。 我々は,テキスト・ビデオ・モデルから,グローバルな軌跡に適合する局所的な変形を観察する。 提案手法は,任意の軌跡に沿ってアニメーションされたシーンの合成,構成シーンの生成,および生成した動きのリアリズムと量に対する大幅な改善を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:55:11Z)
• TrackDiffusion: Tracklet-Conditioned Video Generation via Diffusion Models [75.20168902300166]
  微粒な軌跡条件の運動制御が可能な新しい映像生成フレームワークであるTrackDiffusionを提案する。 TrackDiffusionの重要なコンポーネントは、複数のオブジェクトのフレーム間の一貫性を明確に保証するインスタンスエンハンサーである。 TrackDiffusionによって生成されたビデオシーケンスは、視覚知覚モデルのトレーニングデータとして使用できる。
  論文  参考訳（メタデータ） (2023-12-01T15:24:38Z)
• Trace and Pace: Controllable Pedestrian Animation via Guided Trajectory Diffusion [83.88829943619656]
  本研究では,現実的な歩行者軌跡生成手法と,ユーザ定義目標を達成するために制御可能なフルボディアニメーションを提案する。 我々のガイド付き拡散モデルでは,対象とする経路,速度,特定社会集団による軌道の制約が可能である。 本稿では,アニメーションコントローラのRLトレーニング中に学習した値関数を用いて,拡散を誘導し,特定のシナリオに適した軌道を生成することを提案する。
  論文  参考訳（メタデータ） (2023-04-04T15:46:42Z)
• Path Planning Followed by Kinodynamic Smoothing for Multirotor Aerial Vehicles (MAVs) [61.94975011711275]
  そこで本稿では,RRT*textquotedblrightのテキストを幾何学的にベースとした動き計画手法を提案する。 提案手法では,適応探索空間とステアリング機能を導入したオリジナルのRT*を改良した。 提案手法を様々なシミュレーション環境で検証した。
  論文  参考訳（メタデータ） (2020-08-29T09:55:49Z)
• LiDARsim: Realistic LiDAR Simulation by Leveraging the Real World [84.57894492587053]
  物理に基づくシミュレーションと学習に基づくシミュレーションの両方のパワーをキャプチャする新しいシミュレータを開発した。 まず3Dシーン上でレイキャストを行い、次にディープニューラルネットワークを用いて物理シミュレーションから偏差を生成する。 本稿では,LiDARsimが長距離イベントにおける認識アルゴリズムのテストに有用であること,および安全クリティカルシナリオにおけるエンドツーエンドのクローズループ評価について紹介する。
  論文  参考訳（メタデータ） (2020-06-16T17:44:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。