論文の概要: M3GD: Multi-Modal Multi-View Geometric Diffusion for Camera--LiDAR Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2609.30056v1
• Date: Thu, 24 Sep 2026 16:14:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.094479
• Title: M3GD: Multi-Modal Multi-View Geometric Diffusion for Camera--LiDAR Novel View Synthesis
• Title（参考訳）: M3GD:カメラのためのマルチモード多視点幾何拡散--LiDARの新しいビュー合成
• Abstract要約: 生成NVSのためのカメラ-LiDARマルチモーダル表現であるM3GDを提案する。 カメラ投影後、凍結したLiDARと画像の特徴は空間構造をかなり共有していることが示される。 GrandTourデータセットでは、M3GDは、同じバックボーンのイメージのみのバージョンで、ターゲットビューRGBと深さ合成を改善している。
• 参考スコア（独自算出の注目度）: 10.466311023638667
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robotic novel view synthesis (NVS) must recover both visual appearance and metric 3D structure, yet most generative NVS methods rely only on images, overlooking LiDAR, a complementary sensor common on robotic platforms. We present M3GD, a Camera--LiDAR multimodal representation for generative NVS that composes independently pretrained 2D image and 3D point-cloud foundation models without separately pretraining a cross-modal translator. We show that, after camera projection, frozen LiDAR and image features exhibit substantial shared spatial structure, providing a natural cross-modal representation. M3GD conditions generation on LiDAR through this structure: it combines explicit geometry statistics with learned point-cloud descriptors into view-aligned packets on the image-latent grid, injected through a lightweight residual adapter into a multi-view flow-matching generator whose latent space, decoders, and training objective remain intact. On the GrandTour dataset, M3GD improves target-view RGB and depth synthesis over an image-only version of the same backbone. Ablations show that the gains come from pixel-aligned LiDAR content and that target-view LiDAR acts as a geometric query linking the requested view to source observations. Deployment on a ground robot demonstrates practical real-world operation, with a configurable quality--cost trade-off controlled by the number of Euler integration steps.
• Abstract（参考訳）: ロボットノベルビュー合成(NVS)は視覚的な外観とメートル法的な3D構造の両方を取り戻す必要があるが、ほとんどの生成的NVS法は画像のみに依存しており、ロボットプラットフォームに共通する補完センサーであるLiDARを見渡している。 本稿では,カメラ-LiDARによる合成NVSのマルチモーダル表現であるM3GDについて述べる。 カメラ投影後、凍結したLiDARと画像の特徴は空間構造をかなり共有し、自然なクロスモーダル表現を提供することを示した。 この構造を通してLiDAR上に生成されるM3GD条件は、学習されたポイントクラウドディスクリプタと学習されたポイントクラウドディスクリプタを併用し、遅延空間、デコーダ、トレーニング目的をそのまま残したマルチビューフローマッチングジェネレータに軽量な残差アダプタを介して注入される。 GrandTourデータセットでは、M3GDは、同じバックボーンのイメージのみのバージョンで、ターゲットビューRGBと深さ合成を改善している。 アブレーションによると、この利得はピクセルアラインのLiDARコンテンツから得られ、ターゲットビューのLiDARは、要求されたビューとソースの観測をリンクする幾何学的なクエリとして機能する。 地上ロボットへの展開は、Euler統合ステップの数によって制御される構成可能な品質とコストのトレードオフにより、現実的な実世界の運用を実証する。

関連論文リスト

• SplatGuide: Geometric Priors from 3D Gaussians for Pose-Free Novel View Synthesis [42.23526579547921]
  SplatGuideは、3つの補完的な役割で1つの3DGSシーンを再利用する。 ガウス単位のソースビューインデックスは、ターゲットビュー投票マップに描画される。 レコンストラクショントークンは、クロスアテンションを介して特徴レベルのガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-08-17T17:45:57Z)
• Label-Efficient LiDAR Semantic Segmentation with 2D-3D Vision Transformer Adapters [32.21090169762889]
  BALViTは、凍結視覚モデルを利用して強力なLiDARエンコーダを学習するためのアモーダル機能エンコーダである。 コードとモデルは、http://balvit.cs.uni-freiburg.deで公開しています。
  論文  参考訳（メタデータ） (2025-03-05T09:30:49Z)
• MVGamba: Unify 3D Content Generation as State Space Sequence Modeling [150.80564081817786]
  本稿では,多視点ガウス再構成器を備えた一般軽量ガウス再構成モデルMVGambaを紹介する。 オフザディテールのマルチビュー拡散モデルを統合することで、MVGambaは単一の画像、スパース画像、テキストプロンプトから3D生成タスクを統一する。 実験により、MVGambaは、すべての3Dコンテンツ生成シナリオで最先端のベースラインを約0.1タイムのモデルサイズで上回ります。
  論文  参考訳（メタデータ） (2024-06-10T15:26:48Z)
• GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision [49.839374549646884]
  本稿では,視覚のみのサラウンドビュー知覚に適したジオメトリ強化OccupancyネットワークであるGEOccについて述べる。 提案手法は,Occ3D-nuScenesデータセット上で,画像解像度が最小で,画像バックボーンが最大である状態-Of-The-Art性能を実現する。
  論文  参考訳（メタデータ） (2024-05-17T07:31:20Z)
• VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
  モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。 本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-04-15T03:12:12Z)
• Co-Occ: Coupling Explicit Feature Fusion with Volume Rendering Regularization for Multi-Modal 3D Semantic Occupancy Prediction [10.698054425507475]
  このレターは、Co-Occと呼ばれる新しいマルチモーダル、すなわちLiDARカメラ3Dセマンティック占有予測フレームワークを提示する。 特徴空間におけるボリュームレンダリングは、3D LiDARスイープと2D画像の間のギャップを十分に埋めることができる。
  論文  参考訳（メタデータ） (2024-04-06T09:01:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。