論文の概要: MM-TRELLIS: Point-Cloud Guided Multi-Modal 3D Vehicle Generation in Autonomous Driving

• arxiv url: http://arxiv.org/abs/2606.24301v1
• Date: Tue, 23 Jun 2026 08:31:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.851072
• Title: MM-TRELLIS: Point-Cloud Guided Multi-Modal 3D Vehicle Generation in Autonomous Driving
• Title（参考訳）: MM-TRELLIS:自律運転におけるポイントクラウド誘導多モード3D車両生成
• Authors: Hongli Xiao, Youjian Zhang, Yucai Bai, Chaoyue Wang, Yaohui Jin, Xiaoguang Ren, Wenjing Yang, Long Lan,
• Abstract要約: MM-TRELLIS(MM-TRELLIS)は、車載3D車両用TRELLISのマルチモーダルバージョンである。 LiDARと、自動運転データセットからのイメージセンサーを、ネイティブな3D生成モデルに統合する。 提案手法は,高忠実度3D車両における既存手法よりも優れる。
• 参考スコア（独自算出の注目度）: 48.042009630881275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recovering realistic 3D vehicle models from autonomous driving scenes is crucial for synthesizing training data and building simulation environment. However, most existing vehicle generation methods fail to fully exploit multimodal sensors i.e. multi-view images and LiDAR point clouds) and rely on neural rendering based reconstruction, leading to low-quality mesh. Recently, native 3D generative models have made significant progress, yet they are not built for arbitrary multi-view inputs and often struggle with in-the-wild driving images. In this work, we present MM-TRELLIS, a multi-modal version of TRELLIS for in-the-wild 3D vehicle generation that integrates LiDAR and image sensors from autonomous driving datasets into native 3D generative models. Specifically, multi-view images are cycled as conditioning inputs, while LiDAR point clouds provide test-time guidance to ensure geometric accuracy and cross-view consistency. During denoising, we first align the guidance point cloud with the model priors, then enforce consistency between the generated geometry and the guidance point cloud. Finally, we introduce a voxel filtering strategy based on the opacity of 3D Gaussian Splatting to suppress floaters and produce clean meshes. Comprehensive experiments on Waymo dataset demonstrate our method outperforms existing methods in high-fidelity 3D vehicle generation. Code is available at https://github.com/HongliXiao/MM-TRELLIS.
• Abstract（参考訳）: 自動運転シーンからリアルな3D車両モデルを復元することは、トレーニングデータと建築シミュレーション環境の合成に不可欠である。 しかし、既存の車両生成手法のほとんどはマルチモーダルセンサー(マルチビュー画像とLiDAR点雲)を完全に活用できず、ニューラルネットワークによる再構成に依存し、低品質のメッシュに繋がる。 近年、ネイティブな3D生成モデルは大きな進歩を遂げているが、任意のマルチビュー入力のために構築されていない。 本研究では、LiDARと画像センサを自律走行データセットからネイティブな3D生成モデルに組み込んだ3D車両用TRELLISのマルチモーダルバージョンであるMM-TRELLISを提案する。 特に、マルチビューイメージは条件付け入力としてサイクル化され、LiDARポイントクラウドは、幾何学的精度とクロスビュー一貫性を確保するためのテストタイムガイダンスを提供する。 復調中、まず誘導点雲をモデル先行と整列し、生成した幾何と誘導点雲との整合性を強制する。 最後に, フローターの抑制とメッシュのクリーン化を目的として, 3次元ガウススプラッティングの不透明度に基づくボクセルフィルタ手法を提案する。 Waymoデータセットに関する総合的な実験は、我々の手法が高忠実度3D車両生成において既存の手法より優れていることを示す。 コードはhttps://github.com/HongliXiao/MM-TRELLISで入手できる。

関連論文リスト

• Leveraging 3D Representation Alignment and RGB Pretrained Priors for LiDAR Scene Generation [7.970454839582266]
  R3DPAは、LiDARの点雲に対して、画像事前学習をアンロックするための最初のLiDARシーン生成手法である。 具体的には, 生成モデルの中間的特徴を自己教師付き3次元特徴と整合させ, 生成品質を大幅に向上させる。 また,非条件モデルのみによるオブジェクトの塗り絵やシーンミキシングの推測において,ポイントクラウド制御を可能にする。
  論文  参考訳（メタデータ） (2026-01-12T16:20:20Z)
• HoloDrive: Holistic 2D-3D Multi-Modal Street Scene Generation for Autonomous Driving [29.327572707959916]
  我々は,カメラ画像とLiDAR点雲を共同生成するフレームワークであるemphHoloDriveを提案する。 異種生成モデル間でBEV-to-Cameraおよびカメラ-to-BEV変換モジュールを用いる。 提案手法は,SOTA法に比べて,生成指標の点で顕著な性能向上をもたらす。
  論文  参考訳（メタデータ） (2024-12-02T11:50:35Z)
• Cross-Modal Self-Supervised Learning with Effective Contrastive Units for LiDAR Point Clouds [34.99995524090838]
  LiDARポイントクラウドにおける3D知覚は、自動運転車が3D環境で適切に機能するためには不可欠である。 3次元知覚モデルの自己教師付き事前学習への関心が高まっている。 我々は、自動運転点雲に適したインスタンス認識および類似性バランスのコントラストユニットを提案する。
  論文  参考訳（メタデータ） (2024-09-10T19:11:45Z)
• MagicDrive3D: Controllable 3D Generation for Any-View Rendering in Street Scenes [72.02827211293736]
  MagicDrive3Dは、コントロール可能な3Dストリートシーン生成のための新しいフレームワークである。 ロードマップ、3Dオブジェクト、テキスト記述を含むマルチコンディション制御をサポートする。 多様な高品質な3Dドライビングシーンを生成し、任意のビューレンダリングをサポートし、BEVセグメンテーションのような下流タスクを強化する。
  論文  参考訳（メタデータ） (2024-05-23T12:04:51Z)
• GINA-3D: Learning to Generate Implicit Neural Assets in the Wild [38.51391650845503]
  GINA-3Dは、カメラとLiDARセンサーの実際の運転データを使用して、多様な車や歩行者の3D暗黙的な神経資産を作成する生成モデルである。 車両と歩行者の1.2万枚以上の画像を含む大規模オブジェクト中心データセットを構築した。 生成した画像とジオメトリの両面において、品質と多様性の最先端性能を実現することを実証した。
  論文  参考訳（メタデータ） (2023-04-04T23:41:20Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。