論文の概要: X-Drive: Cross-modality consistent multi-sensor data synthesis for driving scenarios

• arxiv url: http://arxiv.org/abs/2411.01123v1
• Date: Sat, 02 Nov 2024 03:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:40:05.793463
• Title: X-Drive: Cross-modality consistent multi-sensor data synthesis for driving scenarios
• Title（参考訳）: X-Drive: 駆動シナリオのためのクロスモダリティ一貫したマルチセンサデータ合成
• Authors: Yichen Xie, Chenfeng Xu, Chensheng Peng, Shuqi Zhao, Nhat Ho, Alexander T. Pham, Mingyu Ding, Masayoshi Tomizuka, Wei Zhan,
• Abstract要約: 本稿では,点雲と多視点画像の連成分布をモデル化する新しいフレームワーク,X-DRIVEを提案する。 2つのモダリティの異なる幾何学的空間を考えると、X-DRIVE条件は対応する局所領域上の各モダリティの合成である。 X-DRIVEはテキスト、バウンディングボックス、画像、点雲を含む多レベル入力条件を通じて制御可能な生成を可能にする。
• 参考スコア（独自算出の注目度）: 105.16073169351299
• License:
• Abstract: Recent advancements have exploited diffusion models for the synthesis of either LiDAR point clouds or camera image data in driving scenarios. Despite their success in modeling single-modality data marginal distribution, there is an under-exploration in the mutual reliance between different modalities to describe complex driving scenes. To fill in this gap, we propose a novel framework, X-DRIVE, to model the joint distribution of point clouds and multi-view images via a dual-branch latent diffusion model architecture. Considering the distinct geometrical spaces of the two modalities, X-DRIVE conditions the synthesis of each modality on the corresponding local regions from the other modality, ensuring better alignment and realism. To further handle the spatial ambiguity during denoising, we design the cross-modality condition module based on epipolar lines to adaptively learn the cross-modality local correspondence. Besides, X-DRIVE allows for controllable generation through multi-level input conditions, including text, bounding box, image, and point clouds. Extensive results demonstrate the high-fidelity synthetic results of X-DRIVE for both point clouds and multi-view images, adhering to input conditions while ensuring reliable cross-modality consistency. Our code will be made publicly available at https://github.com/yichen928/X-Drive.
• Abstract（参考訳）: 近年の進歩は、運転シナリオにおけるLiDAR点雲またはカメラ画像データの合成に拡散モデルを活用している。 単一モダリティデータ境界分布のモデル化に成功したにもかかわらず、複雑な運転シーンを記述するために、異なるモダリティ間の相互依存が過小評価されている。 このギャップを埋めるために,二分岐潜在拡散モデルアーキテクチャを用いて点雲と多視点画像の連成分布をモデル化する新しいフレームワーク,X-DRIVEを提案する。 2つのモダリティの異なる幾何学的空間を考えると、X-DRIVE条件は対応する局所領域上の各モダリティを他のモダリティから合成し、より良いアライメントとリアリズムを確保する。 本研究では,空間的あいまいさを補うために,極性線に基づくモード間条件モジュールを設計し,モダリティ間の局所対応を適応的に学習する。 さらに、X-DRIVEはテキスト、バウンディングボックス、画像、点雲を含む多レベル入力条件を通じて制御可能な生成を可能にする。 その結果、X-DRIVEの高忠実度合成結果が、点雲と多視点画像の両方で示され、入力条件に固執し、信頼性の高いクロスモダリティの整合性を確保した。 私たちのコードはhttps://github.com/yichen928/X-Driveで公開されます。

関連論文リスト

• GenDDS: Generating Diverse Driving Video Scenarios with Prompt-to-Video Generative Model [6.144680854063938]
  GenDDSは、自律運転システムの運転シナリオを生成するための新しいアプローチである。 我々は、実際の運転ビデオを含むKITTIデータセットを使用して、モデルをトレーニングする。 実世界の運転シナリオの複雑さと変動性を密に再現した高品質な運転映像を,我々のモデルで生成できることを実証した。
  論文  参考訳（メタデータ） (2024-08-28T15:37:44Z)
• DiffX: Guide Your Layout to Cross-Modal Generative Modeling [12.217979042526474]
  DiffXと呼ばれる一般的なレイアウト誘導型クロスモーダル生成のための新しい拡散モデルを提案する。 我々のDiffXは、拡散・復調処理を行う、コンパクトで効果的なクロスモーダル生成モデリングパイプラインを提供する。 我々の知る限り、DiffXはレイアウト誘導型クロスモーダル画像生成の最初のモデルである。
  論文  参考訳（メタデータ） (2024-07-22T09:05:16Z)
• SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation [61.392147185793476]
  統一的で汎用的な基礎モデル、すなわちSEED-Xを提案する。 SEED-Xは、理解および生成タスクのための多粒度視覚意味論をモデル化することができる。 我々の研究が、現実世界のアプリケーションで多目的なマルチモーダル基盤モデルによって達成できるものについて、将来の研究に刺激を与えることを期待しています。
  論文  参考訳（メタデータ） (2024-04-22T17:56:09Z)
• Homography Guided Temporal Fusion for Road Line and Marking Segmentation [73.47092021519245]
  道路線やマーキングは、移動車両、影、グレアの存在下でしばしば閉鎖される。 本稿では,映像フレームを補足的に利用するHomography Guided Fusion (HomoFusion) モジュールを提案する。 カメラ固有のデータと地上平面の仮定をクロスフレーム対応に利用することにより,高速・高精度性能が向上した軽量ネットワークの実現が期待できることを示す。
  論文  参考訳（メタデータ） (2024-04-11T10:26:40Z)
• ToddlerDiffusion: Interactive Structured Image Generation with Cascaded Schrödinger Bridge [63.00793292863]
  ToddlerDiffusionは、RGB画像生成の複雑なタスクを、よりシンプルで解釈可能なステージに分解するための新しいアプローチである。 提案手法はToddler Diffusionと呼ばれ,それぞれが中間表現を生成する責務を担っている。 ToddlerDiffusionは、常に最先端のメソッドより優れています。
  論文  参考訳（メタデータ） (2023-11-24T15:20:01Z)
• Drive Anywhere: Generalizable End-to-end Autonomous Driving with Multi-modal Foundation Models [114.69732301904419]
  本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。 当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
  論文  参考訳（メタデータ） (2023-10-26T17:56:35Z)
• MSeg3D: Multi-modal 3D Semantic Segmentation for Autonomous Driving [15.36416000750147]
  マルチモーダルな3次元セマンティックセグメンテーションモデル(MSeg3D)を提案する。 MSeg3Dは依然として堅牢性を示し、LiDARのみのベースラインを改善している。
  論文  参考訳（メタデータ） (2023-03-15T13:13:03Z)
• Improving Cross-modal Alignment for Text-Guided Image Inpainting [36.1319565907582]
  テキスト誘導画像塗装(TGII)は、損傷した画像中の与えられたテキストに基づいて、行方不明領域を復元することを目的としている。 クロスモーダルアライメントを改善することで,TGIIの新たなモデルを提案する。 我々のモデルは、他の強力な競合相手と比較して最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-01-26T19:18:27Z)
• Multi-intersection Traffic Optimisation: A Benchmark Dataset and a Strong Baseline [85.9210953301628]
  交通信号の制御は、都市部の交通渋滞の緩和に必要不可欠である。 問題モデリングの複雑さが高いため、現在の作業の実験的な設定はしばしば矛盾する。 エンコーダ・デコーダ構造を用いた深層強化学習に基づく新規で強力なベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2021-01-24T03:55:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。