論文の概要: 3D Unsupervised Learning by Distilling 2D Open-Vocabulary Segmentation Models for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2405.15286v2
• Date: Sat, 21 Sep 2024 07:25:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 02:18:45.885458
• Title: 3D Unsupervised Learning by Distilling 2D Open-Vocabulary Segmentation Models for Autonomous Driving
• Title（参考訳）: 自律運転のための2次元オープン語彙セグメントモデルの蒸留による3次元教師なし学習
• Authors: Boyi Sun, Yuhang Liu, Xingxia Wang, Bin Tian, Long Chen, Fei-Yue Wang,
• Abstract要約: 2次元開語彙セグメンテーションモデルを用いた新しい3次元教師なしフレームワークUOVを提案する。 最初の段階では、2次元オープン語彙モデルの高品質なテキストと画像の特徴を革新的に統合する。 第2段階では、点雲と画像の間の空間マッピングを利用して擬似ラベルを生成する。
• 参考スコア（独自算出の注目度）: 17.42913935045091
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Point cloud data labeling is considered a time-consuming and expensive task in autonomous driving, whereas unsupervised learning can avoid it by learning point cloud representations from unannotated data. In this paper, we propose UOV, a novel 3D Unsupervised framework assisted by 2D Open-Vocabulary segmentation models. It consists of two stages: In the first stage, we innovatively integrate high-quality textual and image features of 2D open-vocabulary models and propose the Tri-Modal contrastive Pre-training (TMP). In the second stage, spatial mapping between point clouds and images is utilized to generate pseudo-labels, enabling cross-modal knowledge distillation. Besides, we introduce the Approximate Flat Interaction (AFI) to address the noise during alignment and label confusion. To validate the superiority of UOV, extensive experiments are conducted on multiple related datasets. We achieved a record-breaking 47.73% mIoU on the annotation-free point cloud segmentation task in nuScenes, surpassing the previous best model by 10.70% mIoU. Meanwhile, the performance of fine-tuning with 1% data on nuScenes and SemanticKITTI reached a remarkable 51.75% mIoU and 48.14% mIoU, outperforming all previous pre-trained models.
• Abstract（参考訳）: ポイントクラウドデータラベリングは、自律運転における時間とコストのかかるタスクであると考えられており、教師なし学習は、注釈のないデータからポイントクラウド表現を学習することでそれを避けることができる。 本稿では,2次元オープンボキャブラリセグメンテーションモデルを用いた新しい3次元アン教師付きフレームワークUOVを提案する。 第一段階では、2次元オープン語彙モデルの高品質なテキストと画像の特徴を革新的に統合し、TMP(Tri-Modal contrastive Pre-training)を提案する。 第2段階では、点雲と画像の間の空間マッピングを利用して擬似ラベルを生成し、クロスモーダルな知識蒸留を可能にする。 さらに,アライメント中のノイズやラベルの混乱に対処するため,AFI(Adroximate Flat Interaction)を導入する。 UOVの優位性を検証するために、複数の関連するデータセットに対して広範な実験を行った。 我々は,nuScenesにおけるアノテーションフリーのクラウドセグメンテーションタスクにおいて,47.73%のmIoUを記録破りに達成し,従来最高の10.70%のmIoUを上回りました。 一方、nuScenesとSemanticKITTIの1%のデータによる微調整のパフォーマンスは、51.75% mIoUと48.14% mIoUに到達し、以前のすべての事前訓練モデルを上回った。

関連論文リスト

• Label-Efficient 3D Brain Segmentation via Complementary 2D Diffusion Models with Orthogonal Views [10.944692719150071]
  相補的な2次元拡散モデルを用いた新しい3次元脳分割法を提案する。 私たちのゴールは、個々の主題に対して完全なラベルを必要とせずに、信頼性の高いセグメンテーション品質を達成することです。
  論文  参考訳（メタデータ） (2024-07-17T06:14:53Z)
• Cross-Modal Self-Training: Aligning Images and Pointclouds to Learn Classification without Labels [69.55622471172941]
  CLIPのような大規模ビジョン2D視覚言語モデルは、一般化可能な(オープン語彙)3D視覚モデルを学ぶために3Dエンコーダと整列することができる。 ゼロショット3Dビジョンモデルのラベルなし分類性能を改善するために、クロスモーダル自己訓練(Cross-MoST: Cross-Modal Self-Training)を提案する。
  論文  参考訳（メタデータ） (2024-04-15T21:30:50Z)
• Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment [55.11291053011696]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 限定的な再構築の場合、提案手法はWS3D++と呼ばれ、大規模なScanNetベンチマークで1位にランクインした。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• PointVST: Self-Supervised Pre-training for 3D Point Clouds via View-Specific Point-to-Image Translation [64.858505571083]
  本稿では,翻訳型事前学習フレームワークであるPointVSTを提案する。 3Dポイントクラウドからそれに対応する多様な2Dレンダリング画像へのクロスモーダル変換という,新たな教師付きプレテキストタスクによって駆動される。
  論文  参考訳（メタデータ） (2022-12-29T07:03:29Z)
• 3D Point Cloud Pre-training with Knowledge Distillation from 2D Images [128.40422211090078]
  本稿では,2次元表現学習モデルから直接知識を取得するために,3次元ポイントクラウド事前学習モデルの知識蒸留手法を提案する。 具体的には、3Dポイントクラウドから概念特徴を抽出し、2D画像からの意味情報と比較するクロスアテンション機構を提案する。 このスキームでは,2次元教師モデルに含まれるリッチな情報から,クラウド事前学習モデルを直接学習する。
  論文  参考訳（メタデータ） (2022-12-17T23:21:04Z)
• LWSIS: LiDAR-guided Weakly Supervised Instance Segmentation for Autonomous Driving [34.119642131912485]
  より巧妙なフレームワークであるLiDAR誘導弱監視インスタンス(LWSIS)を提示する。 LWSISは市販の3Dデータ、すなわちポイントクラウドと3Dボックスを2Dイメージインスタンスセグメンテーションモデルをトレーニングするための自然な弱い監督手段として使用している。 我々のLWSISは、訓練中のマルチモーダルデータの補完情報を利用するだけでなく、密集した2Dマスクのコストを大幅に削減します。
  論文  参考訳（メタデータ） (2022-12-07T08:08:01Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。