論文の概要: MultiEditor: Controllable Multimodal Object Editing for Driving Scenarios Using 3D Gaussian Splatting Priors

• arxiv url: http://arxiv.org/abs/2507.21872v2
• Date: Wed, 30 Jul 2025 11:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 14:05:51.398542
• Title: MultiEditor: Controllable Multimodal Object Editing for Driving Scenarios Using 3D Gaussian Splatting Priors
• Title（参考訳）: マルチエディタ:3次元ガウススプレイティングプリミティブを用いたシナリオ駆動のための制御可能なマルチモーダルオブジェクト編集
• Authors: Shouyi Lu, Zihan Lin, Chao Lu, Huanran Wang, Guirong Zhuo, Lianqing Zheng,
• Abstract要約: MultiEditorは、イメージとLiDARポイントクラウドを共同で編集するように設計された、デュアルブランチの潜伏拡散フレームワークである。 本稿では,モーダル間の相互誘導を適応的に実現する,深度誘導型変形可能なクロスモーダル条件モジュールを提案する。 実験により、MultiEditorは、視覚的および幾何学的忠実度、制御可能性の編集、モダリティ間の整合性において優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 4.4714079610450765
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autonomous driving systems rely heavily on multimodal perception data to understand complex environments. However, the long-tailed distribution of real-world data hinders generalization, especially for rare but safety-critical vehicle categories. To address this challenge, we propose MultiEditor, a dual-branch latent diffusion framework designed to edit images and LiDAR point clouds in driving scenarios jointly. At the core of our approach is introducing 3D Gaussian Splatting (3DGS) as a structural and appearance prior for target objects. Leveraging this prior, we design a multi-level appearance control mechanism--comprising pixel-level pasting, semantic-level guidance, and multi-branch refinement--to achieve high-fidelity reconstruction across modalities. We further propose a depth-guided deformable cross-modality condition module that adaptively enables mutual guidance between modalities using 3DGS-rendered depth, significantly enhancing cross-modality consistency. Extensive experiments demonstrate that MultiEditor achieves superior performance in visual and geometric fidelity, editing controllability, and cross-modality consistency. Furthermore, generating rare-category vehicle data with MultiEditor substantially enhances the detection accuracy of perception models on underrepresented classes.
• Abstract（参考訳）: 自律運転システムは複雑な環境を理解するために多モード知覚データに大きく依存する。 しかし、現実世界のデータの長期分布は、特に稀だが安全に重要な車両カテゴリーの一般化を妨げている。 この課題に対処するために,画像とLiDAR点雲を共同で編集する2分岐遅延拡散フレームワークであるMultiEditorを提案する。 我々のアプローチの核心は、3Dガウススプラッティング(3DGS)を対象物に先行する構造と外観として導入することである。 本手法を応用して,画素レベルの貼り付け,セマンティックレベルのガイダンス,マルチブランチリファインメントを含むマルチレベルの外観制御機構を設計し,モダリティ間の高忠実度再構築を実現する。 さらに、3DGSレンダリング深度を用いたモーダル間の相互誘導を適応的に実現し、モーダル間の整合性を大幅に向上する、深さ誘導変形可能なクロスモーダル条件モジュールを提案する。 広汎な実験により、MultiEditorは、視覚的および幾何学的忠実度、制御可能性の編集、モダリティ間の整合性において優れた性能を発揮することが示された。 さらに、MultiEditorで希少なカテゴリの車両データを生成することにより、未表現のクラスにおける知覚モデルの検出精度を大幅に向上させる。

関連論文リスト

• DualDiff: Dual-branch Diffusion Model for Autonomous Driving with Semantic Fusion [9.225796678303487]
  マルチビュー駆動シーン生成のための2分岐条件拡散モデルであるDualDiffを提案する。 Occupancy Ray Sampling (ORS) という意味豊かな3次元表現を数値駆動シーン表現とともに導入する。 モーダル間の情報統合を改善するために,モーダル間の特徴の整合・融合を行うセマンティック・フュージョン・アテンション(SFA)機構を提案する。
  論文  参考訳（メタデータ） (2025-05-03T16:20:01Z)
• LargeAD: Large-Scale Cross-Sensor Data Pretraining for Autonomous Driving [52.83707400688378]
  LargeADは多用途でスケーラブルなフレームワークで、さまざまな現実世界の運転データセットにわたる大規模3D事前トレーニング用に設計されている。 我々のフレームワークは、VFMを利用して2次元画像から意味的にリッチなスーパーピクセルを抽出し、LiDAR点雲に整列して高品質なコントラストサンプルを生成する。 提案手法は,LDARに基づくセグメント化とオブジェクト検出の両面において,線形探索と微調整の両作業において,最先端の手法よりも大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2025-01-07T18:59:59Z)
• MV2DFusion: Leveraging Modality-Specific Object Semantics for Multi-Modal 3D Detection [28.319440934322728]
  MV2DFusionは、高度なクエリベースの融合機構を通じて両方の世界の強みを統合するマルチモーダル検出フレームワークである。 私たちのフレームワークの柔軟性は、任意のイメージとポイントクラウドベースの検出器との統合を可能にし、その適応性と将来の進歩の可能性を示しています。
  論文  参考訳（メタデータ） (2024-08-12T06:46:05Z)
• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation [35.100738362291416]
  マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。 汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。 本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-07T04:58:34Z)
• MS-DETR: Multispectral Pedestrian Detection Transformer with Loosely Coupled Fusion and Modality-Balanced Optimization [43.04788370184486]
  ミスアライメントとモダリティの不均衡は 多スペクトル歩行者検出において 最も重要な問題です MS-DETRは2つのモダリティ固有のバックボーンとトランスフォーマーエンコーダで構成され、その後マルチモーダルトランスフォーマーデコーダが続く。 我々のエンドツーエンドのMS-DETRは、挑戦的なKAIST、CVC-14、LLVIPベンチマークデータセットよりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-02-01T07:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。