論文の概要: ZOPP: A Framework of Zero-shot Offboard Panoptic Perception for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2411.05311v1
• Date: Fri, 08 Nov 2024 03:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:55.137249
• Title: ZOPP: A Framework of Zero-shot Offboard Panoptic Perception for Autonomous Driving
• Title（参考訳）: ZOPP: 自動運転のためのゼロショットオフボード認識フレームワーク
• Authors: Tao Ma, Hongbin Zhou, Qiusheng Huang, Xuemeng Yang, Jianfei Guo, Bo Zhang, Min Dou, Yu Qiao, Botian Shi, Hongsheng Li,
• Abstract要約: オフボード認識は、自動運転シーンのための高品質な3Dラベルを自動生成することを目的としている。 自律走行シーンのためのZOPP(Zero-shot Offboard Panoptic Perception)フレームワークを提案する。 ZOPPは、視覚基礎モデルの強力なゼロショット認識機能と、ポイントクラウドから派生した3D表現を統合している。
• 参考スコア（独自算出の注目度）: 44.174489160967056
• License:
• Abstract: Offboard perception aims to automatically generate high-quality 3D labels for autonomous driving (AD) scenes. Existing offboard methods focus on 3D object detection with closed-set taxonomy and fail to match human-level recognition capability on the rapidly evolving perception tasks. Due to heavy reliance on human labels and the prevalence of data imbalance and sparsity, a unified framework for offboard auto-labeling various elements in AD scenes that meets the distinct needs of perception tasks is not being fully explored. In this paper, we propose a novel multi-modal Zero-shot Offboard Panoptic Perception (ZOPP) framework for autonomous driving scenes. ZOPP integrates the powerful zero-shot recognition capabilities of vision foundation models and 3D representations derived from point clouds. To the best of our knowledge, ZOPP represents a pioneering effort in the domain of multi-modal panoptic perception and auto labeling for autonomous driving scenes. We conduct comprehensive empirical studies and evaluations on Waymo open dataset to validate the proposed ZOPP on various perception tasks. To further explore the usability and extensibility of our proposed ZOPP, we also conduct experiments in downstream applications. The results further demonstrate the great potential of our ZOPP for real-world scenarios.
• Abstract（参考訳）: オフボード認識は、自律運転(AD)シーンのための高品質な3Dラベルを自動的に生成することを目的としている。 既存のオフボード法では、クローズドセットの分類法による3Dオブジェクトの検出に重点を置いており、急速に進化する知覚タスクにおいて人間レベルの認識能力と一致しない。 人間のラベルに大きく依存し、データの不均衡と疎結合の頻度が高いため、ADシーンで様々な要素を自動ラベルする統合されたフレームワークは、知覚タスクの異なるニーズを満たす。 本稿では,自律走行シーンを対象としたZOPP(Zero-shot Offboard Panoptic Perception)フレームワークを提案する。 ZOPPは、視覚基礎モデルの強力なゼロショット認識機能と、ポイントクラウドから派生した3D表現を統合している。 我々の知る限り、ZOPPは、自律運転シーンのためのマルチモーダル・パノプティクスと自動ラベルの分野における先駆的な取り組みである。 Waymoオープンデータセットの総合的な実験と評価を行い、様々な知覚タスクにおいて提案したZOPPを検証する。 提案するZOPPのユーザビリティと拡張性についてさらに検討するため,下流アプリケーションで実験を行う。 その結果、実世界のシナリオにおけるZOPPの大きな可能性をさらに示しています。

関連論文リスト

• A Comprehensive Review of 3D Object Detection in Autonomous Driving: Technological Advances and Future Directions [11.071271817366739]
  3次元物体認識は、自律運転システムの開発において重要な要素となっている。 本稿では,カメラベース,LiDARベース,核融合検出技術を中心に,従来の3次元物体検出手法を概説する。 本稿では、時間知覚、占有グリッド、エンドツーエンド学習フレームワークなどの精度向上手法を含む今後の方向性について論じる。
  論文  参考訳（メタデータ） (2024-08-28T01:08:33Z)
• 3D Object Visibility Prediction in Autonomous Driving [6.802572869909114]
  本稿では,新しい属性とその対応するアルゴリズムである3Dオブジェクトの可視性について述べる。 この属性の提案とその計算戦略は、下流タスクの能力を拡大することを目的としている。
  論文  参考訳（メタデータ） (2024-03-06T13:07:42Z)
• Unsupervised 3D Perception with 2D Vision-Language Distillation for Autonomous Driving [39.70689418558153]
  本研究では,3次元ラベルを使わずに,オープンなカテゴリのモデルにアモーダルな3次元境界ボックスとトラックレットを生成できるマルチモーダル自動ラベルパイプラインを提案する。 私たちのパイプラインは、ポイントクラウドシーケンスに固有のモーションキューと、利用可能な2Dイメージテキストペアを組み合わせて、すべてのトラフィック参加者を特定し、追跡します。
  論文  参考訳（メタデータ） (2023-09-25T19:33:52Z)
• A Simple Framework for 3D Occupancy Estimation in Autonomous Driving [16.605853706182696]
  本稿では,CNNをベースとした3次元占有率推定のための重要な要素をいくつか明らかにするフレームワークを提案する。 また,3次元占有率推定と,単眼深度推定や3次元再構成などの関連課題との関係についても検討した。
  論文  参考訳（メタデータ） (2023-03-17T15:57:14Z)
• HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving [95.42203932627102]
  3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。 提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。 具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
  論文  参考訳（メタデータ） (2022-12-15T11:15:14Z)
• 3D Object Detection for Autonomous Driving: A Comprehensive Survey [48.30753402458884]
  自動運転車の近くで重要な3Dオブジェクトの位置、サイズ、カテゴリをインテリジェントに予測する3Dオブジェクト検出は、認識システムの重要な部分である。 本稿では,自律運転における3次元物体検出技術の進歩を概観する。
  論文  参考訳（メタデータ） (2022-06-19T19:43:11Z)
• A Spatio-Temporal Multilayer Perceptron for Gesture Recognition [70.34489104710366]
  自律走行車におけるジェスチャー認識のための多層状態重み付きパーセプトロンを提案する。 提案手法の有望な性能を示すため,TCGおよびDrive&Actデータセットの評価を行った。 私たちは、そのリアルタイム能力と安定した実行を示すために、モデルを自動運転車にデプロイします。
  論文  参考訳（メタデータ） (2022-04-25T08:42:47Z)
• SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation [101.55622133406446]
  本研究では,複数の周囲からの情報を組み込んだSurroundDepth法を提案し,カメラ間の深度マップの予測を行う。 具体的には、周囲のすべてのビューを処理し、複数のビューから情報を効果的に融合するクロスビュー変換器を提案する。 実験において,本手法は,挑戦的なマルチカメラ深度推定データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-04-07T17:58:47Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。