論文の概要: Physical Informed Driving World Model

• arxiv url: http://arxiv.org/abs/2412.08410v2
• Date: Fri, 13 Dec 2024 02:05:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 11:43:02.480337
• Title: Physical Informed Driving World Model
• Title（参考訳）: 物理的インフォームド・ドライビング・ワールド・モデル
• Authors: Zhuoran Yang, Xi Guo, Chenjing Ding, Chiyu Wang, Wei Wu,
• Abstract要約: DrivePhysicaは、本質的な物理原理に準拠したリアルなドライビングビデオを生成するために設計された革新的なモデルだ。 我々は,Nuscenesデータセット上での3.96 FIDと38.06 FVDの駆動ビデオ生成品質と下流認識タスクにおける最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 47.04423342994622
• License:
• Abstract: Autonomous driving requires robust perception models trained on high-quality, large-scale multi-view driving videos for tasks like 3D object detection, segmentation and trajectory prediction. While world models provide a cost-effective solution for generating realistic driving videos, challenges remain in ensuring these videos adhere to fundamental physical principles, such as relative and absolute motion, spatial relationship like occlusion and spatial consistency, and temporal consistency. To address these, we propose DrivePhysica, an innovative model designed to generate realistic multi-view driving videos that accurately adhere to essential physical principles through three key advancements: (1) a Coordinate System Aligner module that integrates relative and absolute motion features to enhance motion interpretation, (2) an Instance Flow Guidance module that ensures precise temporal consistency via efficient 3D flow extraction, and (3) a Box Coordinate Guidance module that improves spatial relationship understanding and accurately resolves occlusion hierarchies. Grounded in physical principles, we achieve state-of-the-art performance in driving video generation quality (3.96 FID and 38.06 FVD on the Nuscenes dataset) and downstream perception tasks. Our project homepage: https://metadrivescape.github.io/papers_project/DrivePhysica/page.html
• Abstract（参考訳）: 自律運転には、3Dオブジェクトの検出、セグメンテーション、軌道予測といったタスクのために、高品質で大規模なマルチビュー駆動ビデオに基づいてトレーニングされた堅牢な知覚モデルが必要である。 世界モデルは現実的なドライビングビデオを生成するためのコスト効率の良いソリューションを提供するが、これらのビデオが相対的、絶対的運動、排他的、空間的一貫性のような空間的関係、時間的一貫性といった基本的な物理原理に確実に準拠することの課題は残る。 これらの課題を解決するために,DrivePhysicaは,(1)相対的および絶対的な動作特徴を統合して動作の解釈を強化するコーディネート・システム・アリグナー・モジュール,(2)効率的な3次元フロー抽出による正確な時間的整合性を保証するインスタンス・フロー・ガイダンス・モジュール,(3)空間的関係理解を改善し,オクルージョン階層を正確に解決するボックス・コーディネート・ガイダンス・モジュールである。 物理原理を基礎として,映像生成品質(Nuscenesデータセットでは3.96FID,38.06FVD)と下流知覚タスクの駆動において,最先端のパフォーマンスを実現する。 プロジェクトのホームページ: https://metadrivescape.github.io/papers_project/DrivePhysica/page.html

関連論文リスト

• MagicDriveDiT: High-Resolution Long Video Generation for Autonomous Driving with Adaptive Control [68.74166535159311]
  本稿では,Ditアーキテクチャに基づく新しいアプローチであるMagicDriveDiTを紹介する。 MagicDriveDiTは、空間的時間的条件エンコーディングを組み込むことで、空間的時間的潜伏量を正確に制御する。 実験では、高解像度でフレーム数の多いリアルなストリートシーンビデオを生成する上で、優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-11-21T03:13:30Z)
• 3D Multi-Object Tracking with Semi-Supervised GRU-Kalman Filter [6.13623925528906]
  3D Multi-Object Tracking (MOT)は、自律運転やロボットセンシングのようなインテリジェントなシステムに不可欠である。 本稿では,学習可能なカルマンフィルタを移動モジュールに導入するGRUベースのMOT法を提案する。 このアプローチは、データ駆動学習を通じてオブジェクトの動き特性を学習することができ、手動モデル設計やモデルエラーを回避することができる。
  論文  参考訳（メタデータ） (2024-11-13T08:34:07Z)
• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• DriveScape: Towards High-Resolution Controllable Multi-View Driving Video Generation [10.296670127024045]
  DriveScapeは、マルチビュー、3D条件付きビデオ生成のためのエンドツーエンドフレームワークである。 我々のBi-Directional Modulated Transformer (BiMot)は3次元構造情報の正確なアライメントを保証する。 DriveScapeはビデオ生成性能に優れ、FIDスコア8.34、FVDスコア76.39でnuScenesデータセットの最先端結果を達成する。
  論文  参考訳（メタデータ） (2024-09-09T09:43:17Z)
• Vision-based Discovery of Nonlinear Dynamics for 3D Moving Target [11.102585080028945]
  本稿では,カメラセットが記録した生のビデオを通して,3次元移動目標に対する非線形力学の制御方程式を自動的に発見するための視覚的アプローチを提案する。 このフレームワークは、例えばビデオ内のノイズ、データ不足の原因となるターゲットの不正確な追跡など、測定データに関連する課題を効果的に処理することができる。
  論文  参考訳（メタデータ） (2024-04-27T11:13:55Z)
• DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and Depth from Monocular Videos [76.01906393673897]
  本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。 本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。 我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-03-09T12:22:46Z)
• Realistic Full-Body Tracking from Sparse Observations via Joint-Level Modeling [13.284947022380404]
  頭部と手の3つの追跡信号だけで、正確でスムーズな全身運動を得ることができる2段階のフレームワークを提案する。 本フレームワークは,第1段階の関節レベル特徴を明示的にモデル化し,第2段階の関節レベル相関を捉えるために,空間的および時間的トランスフォーマーブロックの交互化に時間的トークンとして利用する。 AMASSモーションデータセットと実捕集データに関する広範な実験により,提案手法は既存の手法と比較して,より正確で滑らかな動きを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-08-17T08:27:55Z)
• AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
  本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。 3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。 次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
  論文  参考訳（メタデータ） (2023-07-07T17:59:14Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。