論文の概要: Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data

• arxiv url: http://arxiv.org/abs/2203.16258v1
• Date: Wed, 30 Mar 2022 12:40:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-31 14:26:25.700823
• Title: Image-to-Lidar Self-Supervised Distillation for Autonomous Driving Data
• Title（参考訳）: 自律運転データのための画像-ライダー自己監督蒸留
• Authors: Corentin Sautier, Gilles Puy, Spyros Gidaris, Alexandre Boulch, Andrei Bursuc, Renaud Marlet
• Abstract要約: 本稿では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。 我々は、自動走行装置における同期・校正画像とLidarセンサーの可用性を活用している。 私たちのメソッドは、ポイントクラウドや画像アノテーションを一切必要としません。
• 参考スコア（独自算出の注目度）: 80.14669385741202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Segmenting or detecting objects in sparse Lidar point clouds are two important tasks in autonomous driving to allow a vehicle to act safely in its 3D environment. The best performing methods in 3D semantic segmentation or object detection rely on a large amount of annotated data. Yet annotating 3D Lidar data for these tasks is tedious and costly. In this context, we propose a self-supervised pre-training method for 3D perception models that is tailored to autonomous driving data. Specifically, we leverage the availability of synchronized and calibrated image and Lidar sensors in autonomous driving setups for distilling self-supervised pre-trained image representations into 3D models. Hence, our method does not require any point cloud nor image annotations. The key ingredient of our method is the use of superpixels which are used to pool 3D point features and 2D pixel features in visually similar regions. We then train a 3D network on the self-supervised task of matching these pooled point features with the corresponding pooled image pixel features. The advantages of contrasting regions obtained by superpixels are that: (1) grouping together pixels and points of visually coherent regions leads to a more meaningful contrastive task that produces features well adapted to 3D semantic segmentation and 3D object detection; (2) all the different regions have the same weight in the contrastive loss regardless of the number of 3D points sampled in these regions; (3) it mitigates the noise produced by incorrect matching of points and pixels due to occlusions between the different sensors. Extensive experiments on autonomous driving datasets demonstrate the ability of our image-to-Lidar distillation strategy to produce 3D representations that transfer well on semantic segmentation and object detection tasks.
• Abstract（参考訳）: sparse lidar point cloudのオブジェクトのセグメンテーションや検出は、自動運転における2つの重要なタスクであり、車両が3d環境で安全に動作できるようにする。 3Dセマンティックセグメンテーションやオブジェクト検出における最良の方法は、大量の注釈付きデータに依存する。 しかし、これらのタスクに3D Lidarデータをアノテートするのは面倒でコストもかかる。 本研究では,自律運転データに適した3次元知覚モデルのための自己教師付き事前学習手法を提案する。 具体的には、自己教師付き事前学習画像表現を3dモデルに蒸留する自動運転セットアップにおいて、同期および校正された画像およびlidarセンサの可用性を活用する。 したがって、このメソッドにはポイントクラウドやイメージアノテーションは不要です。 本手法の重要な要素は,視覚的に類似した領域に3d点特徴と2d画素特徴をプールするために使用されるスーパーピクセルの使用である。 次に、これらのプーリングされた点特徴と対応する画像画素特徴とをマッチングする自己教師型タスクで3Dネットワークを訓練する。 The advantages of contrasting regions obtained by superpixels are that: (1) grouping together pixels and points of visually coherent regions leads to a more meaningful contrastive task that produces features well adapted to 3D semantic segmentation and 3D object detection; (2) all the different regions have the same weight in the contrastive loss regardless of the number of 3D points sampled in these regions; (3) it mitigates the noise produced by incorrect matching of points and pixels due to occlusions between the different sensors. 自律運転データセットに関する広範な実験は、画像からライダーへの蒸留戦略が、セマンティックセグメンテーションとオブジェクト検出タスクをうまく伝達する3d表現を生成する能力を示している。

関連論文リスト

• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection [19.75965521357068]
  本稿では,SOGDet(Semantic-Occupancy Guided Multi-view Object Detection)と呼ばれる新しい手法を提案する。 以上の結果から,SOGDet は nuScenes Detection Score (NDS) と平均平均精度 (mAP) の3つのベースライン法の性能を一貫して向上させることがわかった。 これは、3Dオブジェクト検出と3Dセマンティック占有の組み合わせが、3D環境をより包括的に認識し、より堅牢な自律運転システムの構築を支援することを示唆している。
  論文  参考訳（メタデータ） (2023-08-26T07:38:21Z)
• 3D Data Augmentation for Driving Scenes on Camera [50.41413053812315]
  本稿では,Drive-3DAugと呼ばれる3次元データ拡張手法を提案する。 まずNeural Radiance Field(NeRF)を用いて,背景および前景の3次元モデルの再構成を行う。 そして、予め定義された背景の有効領域に適応した位置と向きの3Dオブジェクトを配置することにより、拡張駆動シーンを得ることができる。
  論文  参考訳（メタデータ） (2023-03-18T05:51:05Z)
• PAI3D: Painting Adaptive Instance-Prior for 3D Object Detection [22.41785292720421]
  Painting Adaptive Instance-prior for 3D Object Detection (PAI3D)は、シーケンシャルなインスタンスレベルの融合フレームワークである。 まず、画像からインスタンスレベルの意味情報を抽出する。 次に、オブジェクト分類ラベル、ポイント・ツー・オブジェクト・メンバシップ、オブジェクト位置を含む抽出情報を用いて、その後の3D検出ネットワークにおける各LiDARポイントを増強する。
  論文  参考訳（メタデータ） (2022-11-15T11:15:25Z)
• RoIFusion: 3D Object Detection from LiDAR and Vision [7.878027048763662]
  本稿では,3次元関心領域(RoI)の集合を点雲から対応する画像の2次元ロIに投影することで,新しい融合アルゴリズムを提案する。 提案手法は,KITTI 3Dオブジェクト検出課題ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-09-09T20:23:27Z)
• PerMO: Perceiving More at Once from a Single Image for Autonomous Driving [76.35684439949094]
  単一画像から完全テクスチャ化された車両の3次元モデルを検出し,セグメント化し,再構成する新しい手法を提案する。 私たちのアプローチは、ディープラーニングの強みと従来のテクニックの優雅さを組み合わせています。 我々はこれらのアルゴリズムを自律運転システムに統合した。
  論文  参考訳（メタデータ） (2020-07-16T05:02:45Z)
• 3D Object Detection Method Based on YOLO and K-Means for Image and Point Clouds [1.9458156037869139]
  ライダーに基づく3Dオブジェクト検出と分類タスクは、自動運転に不可欠である。 本稿では,点雲と画像に基づく3次元物体検出手法を提案する。
  論文  参考訳（メタデータ） (2020-04-21T04:32:36Z)
• Learning 2D-3D Correspondences To Solve The Blind Perspective-n-Point Problem [98.92148855291363]
  本稿では、6-DoFの絶対カメラポーズ2D--3D対応を同時に解決するディープCNNモデルを提案する。 実データとシミュレーションデータの両方でテストした結果,本手法は既存手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-03-15T04:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。