論文の概要: Leveraging 3D Representation Alignment and RGB Pretrained Priors for LiDAR Scene Generation
- arxiv url: http://arxiv.org/abs/2601.07692v1
- Date: Mon, 12 Jan 2026 16:20:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-13 19:08:01.598694
- Title: Leveraging 3D Representation Alignment and RGB Pretrained Priors for LiDAR Scene Generation
- Title(参考訳): LiDARシーン生成のための3次元表示アライメントとRGB事前訓練
- Authors: Nicolas Sereyjol-Garros, Ellington Kirby, Victor Besnier, Nermin Samet,
- Abstract要約: R3DPAは、LiDARの点雲に対して、画像事前学習をアンロックするための最初のLiDARシーン生成手法である。
具体的には, 生成モデルの中間的特徴を自己教師付き3次元特徴と整合させ, 生成品質を大幅に向上させる。
また,非条件モデルのみによるオブジェクトの塗り絵やシーンミキシングの推測において,ポイントクラウド制御を可能にする。
- 参考スコア(独自算出の注目度): 7.970454839582266
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LiDAR scene synthesis is an emerging solution to scarcity in 3D data for robotic tasks such as autonomous driving. Recent approaches employ diffusion or flow matching models to generate realistic scenes, but 3D data remains limited compared to RGB datasets with millions of samples. We introduce R3DPA, the first LiDAR scene generation method to unlock image-pretrained priors for LiDAR point clouds, and leverage self-supervised 3D representations for state-of-the-art results. Specifically, we (i) align intermediate features of our generative model with self-supervised 3D features, which substantially improves generation quality; (ii) transfer knowledge from large-scale image-pretrained generative models to LiDAR generation, mitigating limited LiDAR datasets; and (iii) enable point cloud control at inference for object inpainting and scene mixing with solely an unconditional model. On the KITTI-360 benchmark R3DPA achieves state of the art performance. Code and pretrained models are available at https://github.com/valeoai/R3DPA.
- Abstract(参考訳): LiDARシーン合成は、自律運転のようなロボットタスクのための3Dデータの不足に対する新たな解決策である。
近年のアプローチでは, 現実的なシーンを生成するために拡散モデルやフローマッチングモデルが採用されているが, 数百万のサンプルを持つRGBデータセットと比較して3次元データは限られている。
R3DPAは、LiDARの点群に対して予め訓練された先行画像をアンロックする最初のLiDARシーン生成手法であり、最先端の結果に自己教師付き3D表現を利用する。
具体的には
i) 生成モデルの中間的特徴を自己監督型3D特徴と整合させ, 生成品質を大幅に向上させる。
(II)LiDARデータセットを緩和した大規模画像予測生成モデルからLiDAR生成への伝達知識
3)無条件モデルのみによる物体塗布とシーン混合の推測における点雲制御を可能にする。
KITTI-360ベンチマークでは、R3DPAは最先端のパフォーマンスを達成する。
コードと事前訓練されたモデルはhttps://github.com/valeoai/R3DPAで入手できる。
関連論文リスト
- Shelf-Supervised Cross-Modal Pre-Training for 3D Object Detection [52.66283064389691]
最先端の3Dオブジェクト検出器は、しばしば大量のラベル付きデータセットで訓練される。
近年の研究では、ラベル付きデータによる自己教師付き事前学習が、ラベル付きラベルによる検出精度を向上させることが示されている。
組合わせRGBとLiDARデータからゼロショット3Dバウンディングボックスを生成するためのシェルフ制御手法を提案する。
論文 参考訳(メタデータ) (2024-06-14T15:21:57Z) - DIRECT-3D: Learning Direct Text-to-3D Generation on Massive Noisy 3D Data [50.164670363633704]
テキストプロンプトから高品質な3Dアセットを作成するための拡散型3D生成モデルであるDIRECT-3Dを提案する。
我々のモデルは、広範に騒々しく不整合な3D資産で直接訓練されている。
単一クラス生成とテキスト・ツー・3D生成の両方で最先端の性能を実現する。
論文 参考訳(メタデータ) (2024-06-06T17:58:15Z) - LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models [1.1965844936801797]
3D LiDARデータの生成モデリングは、自律移動ロボットに有望な応用をもたらす新たな課題である。
我々は,多種多様かつ高忠実な3Dシーンポイント雲を生成可能な,LiDARデータのための新しい生成モデルR2DMを提案する。
本手法は拡散確率モデル (DDPM) を用いて構築され, 生成モデルフレームワークにおいて顕著な結果が得られた。
論文 参考訳(メタデータ) (2023-09-17T12:26:57Z) - NeRF-LiDAR: Generating Realistic LiDAR Point Clouds with Neural Radiance
Fields [20.887421720818892]
実世界の情報を利用してリアルなLIDAR点雲を生成する新しいLiDARシミュレーション手法であるNeRF-LIDARを提案する。
我々は,生成したLiDAR点雲上で異なる3次元セグメンテーションモデルをトレーニングすることにより,NeRF-LiDARの有効性を検証する。
論文 参考訳(メタデータ) (2023-04-28T12:41:28Z) - NeRF-GAN Distillation for Efficient 3D-Aware Generation with
Convolutions [97.27105725738016]
GAN(Generative Adversarial Networks)のようなニューラルラジアンスフィールド(NeRF)と生成モデルの統合は、単一ビュー画像から3D認識生成を変換した。
提案手法は,ポーズ条件付き畳み込みネットワークにおいて,事前学習したNeRF-GANの有界遅延空間を再利用し,基礎となる3次元表現に対応する3D一貫性画像を直接生成する手法である。
論文 参考訳(メタデータ) (2023-03-22T18:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。