論文の概要: VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2411.14716v1
• Date: Fri, 22 Nov 2024 03:59:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:03:31.577303
• Title: VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving
• Title（参考訳）: VisionPAD: 自動運転のためのビジョン中心の事前学習パラダイム
• Authors: Haiming Zhang, Wending Zhou, Yiyao Zhu, Xu Yan, Jiantao Gao, Dongfeng Bai, Yingjie Cai, Bingbing Liu, Shuguang Cui, Zhen Li,
• Abstract要約: VisionPADは、自律運転におけるビジョン中心のアルゴリズムのための、新しい自己教師付き事前訓練パラダイムである。 画像のみを監督として多視点表現を再構築する。 これにより、3Dオブジェクトの検出、占有率予測、マップセグメンテーションのパフォーマンスが大幅に向上する。
• 参考スコア（独自算出の注目度）: 44.91443640710085
• License:
• Abstract: This paper introduces VisionPAD, a novel self-supervised pre-training paradigm designed for vision-centric algorithms in autonomous driving. In contrast to previous approaches that employ neural rendering with explicit depth supervision, VisionPAD utilizes more efficient 3D Gaussian Splatting to reconstruct multi-view representations using only images as supervision. Specifically, we introduce a self-supervised method for voxel velocity estimation. By warping voxels to adjacent frames and supervising the rendered outputs, the model effectively learns motion cues in the sequential data. Furthermore, we adopt a multi-frame photometric consistency approach to enhance geometric perception. It projects adjacent frames to the current frame based on rendered depths and relative poses, boosting the 3D geometric representation through pure image supervision. Extensive experiments on autonomous driving datasets demonstrate that VisionPAD significantly improves performance in 3D object detection, occupancy prediction and map segmentation, surpassing state-of-the-art pre-training strategies by a considerable margin.
• Abstract（参考訳）: 本稿では、自律運転におけるビジョン中心アルゴリズムのために設計された、新しい自己教師型事前学習パラダイムであるVisionPADを紹介する。 ニューラルレンダリングと明示的な深度監視を用いた従来のアプローチとは対照的に、VisionPADはより効率的な3Dガウススプラッティングを使用して、イメージのみを監督として、マルチビュー表現を再構築する。 具体的には,ボクセル速度推定のための自己教師付き手法を提案する。 隣接するフレームにボクセルをワープし、レンダリングされた出力を監視することにより、モデルはシーケンシャルデータの動作キューを効果的に学習する。 さらに、幾何学的知覚を高めるために、多フレーム光度整合性アプローチを採用する。 描画深度と相対的なポーズに基づいて隣接するフレームを現在のフレームに投影し、純粋な画像監視を通じて3次元幾何学的表現を増強する。 自律運転データセットに関する大規模な実験により、VisionPADは3Dオブジェクトの検出、占有率予測、マップセグメンテーションのパフォーマンスを著しく改善し、最先端の事前訓練戦略をかなりのマージンで上回ることを示した。

関連論文リスト

• Cohere3D: Exploiting Temporal Coherence for Unsupervised Representation Learning of Vision-based Autonomous Driving [73.3702076688159]
  本稿では,コヒーレントなインスタンス表現を長期入力シーケンスで学習するための,新しいコントラスト学習アルゴリズムであるCohere3Dを提案する。 我々は,様々な下流認識,予測,計画タスクにおいて,事前学習したモデルを微調整することにより,アルゴリズムを評価する。
  論文  参考訳（メタデータ） (2024-02-23T19:43:01Z)
• OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
  本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。 我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。 意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
  論文  参考訳（メタデータ） (2023-12-14T18:58:52Z)
• Instance-aware Multi-Camera 3D Object Detection with Structural Priors Mining and Self-Boosting Learning [93.71280187657831]
  カメラによる鳥眼視(BEV)知覚パラダイムは、自律運転分野において大きな進歩を遂げている。 画像平面のインスタンス認識をBEV検出器内の深度推定プロセスに統合するIA-BEVを提案する。
  論文  参考訳（メタデータ） (2023-12-13T09:24:42Z)
• Take-A-Photo: 3D-to-2D Generative Pre-training of Point Cloud Models [97.58685709663287]
  生成事前学習は、2次元視覚における基本モデルの性能を高めることができる。 3Dビジョンでは、トランスフォーマーベースのバックボーンの過度な信頼性と、点雲の秩序のない性質により、生成前のトレーニングのさらなる発展が制限されている。 本稿では,任意の点クラウドモデルに適用可能な3D-to-2D生成事前学習法を提案する。
  論文  参考訳（メタデータ） (2023-07-27T16:07:03Z)
• Geometric-aware Pretraining for Vision-centric 3D Object Detection [77.7979088689944]
  GAPretrainと呼ばれる新しい幾何学的事前学習フレームワークを提案する。 GAPretrainは、複数の最先端検出器に柔軟に適用可能なプラグアンドプレイソリューションとして機能する。 BEVFormer法を用いて, nuScenes val の 46.2 mAP と 55.5 NDS を実現し, それぞれ 2.7 と 2.1 点を得た。
  論文  参考訳（メタデータ） (2023-04-06T14:33:05Z)
• Visual Reinforcement Learning with Self-Supervised 3D Representations [15.991546692872841]
  運動制御のための3次元表現の自己教師型学習のための統一的な枠組みを提案する。 本手法は,2次元表現学習法と比較して,シミュレーション操作タスクにおけるサンプル効率の向上を享受する。
  論文  参考訳（メタデータ） (2022-10-13T17:59:55Z)
• Learning Ego 3D Representation as Ray Tracing [42.400505280851114]
  我々は、制約のないカメラビューからエゴ3D表現学習のための新しいエンドツーエンドアーキテクチャを提案する。 レイトレーシングの原理にインスパイアされた我々は、学習可能なエゴ3D表現として「虚視」の偏極格子を設計する。 我々のモデルはすべての最先端の代替品を著しく上回ります。
  論文  参考訳（メタデータ） (2022-06-08T17:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。