論文の概要: Are We Ready for Vision-Centric Driving Streaming Perception? The ASAP
Benchmark
- arxiv url: http://arxiv.org/abs/2212.08914v1
- Date: Sat, 17 Dec 2022 16:32:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 17:23:04.128463
- Title: Are We Ready for Vision-Centric Driving Streaming Perception? The ASAP
Benchmark
- Title（参考訳）: ビジョン中心のストリーミング知覚の準備はできているか?
ASAPベンチマーク
- Authors: Xiaofeng Wang, Zheng Zhu, Yunpeng Zhang, Guan Huang, Yun Ye, Wenbo Xu,
Ziwei Chen, Xingang Wang
- Abstract要約: ASAPは、自律運転における視覚中心の知覚のオンラインパフォーマンスを評価する最初のベンチマークである。
12Hzの原画像の高フレームレートラベルを生成するためのアノテーション拡張パイプラインを提案する。
ASAPベンチマークでは、モデルランクが異なる制約の下で変化することを示す総合的な実験結果が示されている。
- 参考スコア（独自算出の注目度）: 23.872360763782037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, vision-centric perception has flourished in various
autonomous driving tasks, including 3D detection, semantic map construction,
motion forecasting, and depth estimation. Nevertheless, the latency of
vision-centric approaches is too high for practical deployment (e.g., most
camera-based 3D detectors have a runtime greater than 300ms). To bridge the gap
between ideal research and real-world applications, it is necessary to quantify
the trade-off between performance and efficiency. Traditionally,
autonomous-driving perception benchmarks perform the offline evaluation,
neglecting the inference time delay. To mitigate the problem, we propose the
Autonomous-driving StreAming Perception (ASAP) benchmark, which is the first
benchmark to evaluate the online performance of vision-centric perception in
autonomous driving. On the basis of the 2Hz annotated nuScenes dataset, we
first propose an annotation-extending pipeline to generate high-frame-rate
labels for the 12Hz raw images. Referring to the practical deployment, the
Streaming Perception Under constRained-computation (SPUR) evaluation protocol
is further constructed, where the 12Hz inputs are utilized for streaming
evaluation under the constraints of different computational resources. In the
ASAP benchmark, comprehensive experiment results reveal that the model rank
alters under different constraints, suggesting that the model latency and
computation budget should be considered as design choices to optimize the
practical deployment. To facilitate further research, we establish baselines
for camera-based streaming 3D detection, which consistently enhance the
streaming performance across various hardware. ASAP project page:
https://github.com/JeffWang987/ASAP.
- Abstract（参考訳）: 近年、視覚中心の知覚は、3次元検出、セマンティックマップの構築、動き予測、深さ推定など、様々な自律運転タスクで栄えている。
それでも、視覚中心のアプローチのレイテンシは現実的な展開には高すぎる(例えば、ほとんどのカメラベースの3D検出器は300ms以上のランタイムを持つ)。
理想的な研究と現実世界のアプリケーションの間のギャップを埋めるためには、パフォーマンスと効率のトレードオフを定量化する必要がある。
従来、自動運転知覚ベンチマークは、推論時間遅延を無視して、オフライン評価を行う。
この問題を軽減するために,自律運転における視覚中心知覚のオンラインパフォーマンスを評価する最初のベンチマークであるautonomous-driving streaming perception (asap)ベンチマークを提案する。
2Hzの注釈付きnuScenesデータセットに基づいて、まず12Hzの原画像の高フレームレートラベルを生成するアノテーション拡張パイプラインを提案する。
実際の展開を参照して、コンストレインド・コンピューティング(SPUR)評価プロトコルがさらに構築され、12Hzの入力が異なる計算リソースの制約下でのストリーミング評価に使用される。
ASAPベンチマークでは、モデルランクが異なる制約の下で変化することを示し、実際の配置を最適化するための設計選択としてモデル遅延と計算予算を考慮するべきであることを示唆している。
さらに,様々なハードウェアのストリーミング性能を一貫して向上させるカメラベースのストリーミング3d検出のベースラインを確立する。
ASAPプロジェクトページ:https://github.com/JeffWang987/ASAP。
関連論文リスト
- ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。
本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。
私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
論文 参考訳（メタデータ） (2024-11-12T11:32:56Z) - DAMO-StreamNet: Optimizing Streaming Perception in Autonomous Driving [27.14089002387224]
本稿では,ストリーミング知覚のための最適化されたフレームワークであるDAMO-StreamNetを提案する。
このフレームワークは、最近のYOLOシリーズの進歩と、空間的および時間的知覚機構の包括的分析を組み合わせたものである。
実験の結果,DAMO-StreamNetは既存の最先端手法を超え,37.8%(正規サイズ600,960)と43.3%(大規模サイズ1200,1920)のsAPを達成した。
論文 参考訳（メタデータ） (2023-03-30T04:34:31Z) - A Simple Framework for 3D Occupancy Estimation in Autonomous Driving [16.605853706182696]
本稿では,CNNをベースとした3次元占有率推定のための重要な要素をいくつか明らかにするフレームワークを提案する。
また,3次元占有率推定と,単眼深度推定や3次元再構成などの関連課題との関係についても検討した。
論文 参考訳（メタデータ） (2023-03-17T15:57:14Z) - OpenOccupancy: A Large Scale Benchmark for Surrounding Semantic
Occupancy Perception [73.05425657479704]
我々は,最初のセマンティック占有感評価ベンチマークであるOpenOccupancyを提案する。
大規模なnuScenesデータセットを拡張した。
周囲の占有感の複雑さを考慮し、粗い予測を洗練させるためにカスケード占領ネットワーク(CONET)を提案する。
論文 参考訳（メタデータ） (2023-03-07T15:43:39Z) - StreamYOLO: Real-time Object Detection for Streaming Perception [84.2559631820007]
将来を予測する能力を備えたモデルを提供し、ストリーミング知覚の結果を大幅に改善する。
本稿では,複数の速度を駆動するシーンについて考察し,VasAP(Velocity-Awared streaming AP)を提案する。
本手法は,Argoverse-HDデータセットの最先端性能を実現し,SAPとVsAPをそれぞれ4.7%,VsAPを8.2%改善する。
論文 参考訳（メタデータ） (2022-07-21T12:03:02Z) - Real-time Object Detection for Streaming Perception [84.2559631820007]
ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。
ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。
提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
論文 参考訳（メタデータ） (2022-03-23T11:33:27Z) - Real Time Monocular Vehicle Velocity Estimation using Synthetic Data [78.85123603488664]
移動車に搭載されたカメラから車両の速度を推定する問題を考察する。
そこで本研究では,まずオフ・ザ・シェルフ・トラッカーを用いて車両バウンディングボックスを抽出し,その後,小型ニューラルネットワークを用いて車両速度を回帰する2段階のアプローチを提案する。
論文 参考訳（メタデータ） (2021-09-16T13:10:27Z) - Real-time Streaming Perception System for Autonomous Driving [2.6058660721533187]
本稿では,ストリーミング知覚チャレンジの第2位であるリアルタイム蒸気知覚システムについて述べる。
絶対的なパフォーマンスに重点を置いている従来のオブジェクト検出の課題とは異なり、ストリーミング認識タスクは精度とレイテンシのバランスを取る必要がある。
Argoverse-HDテストセットでは,必要なハードウェアで33.2ストリーミングAP(オーガナイザが検証した34.6ストリーミングAP)を実現する。
論文 参考訳（メタデータ） (2021-07-30T01:32:44Z) - Towards Streaming Perception [70.68520310095155]
本稿では、リアルタイムオンライン知覚のための単一のメトリクスにレイテンシと精度を協調的に統合するアプローチを提案する。
この指標の背後にある重要な洞察は、瞬間ごとに認識スタック全体の出力を共同で評価することである。
本稿では,都市ビデオストリームにおけるオブジェクト検出とインスタンスセグメンテーションの具体的タスクに注目し,高品質で時間依存的なアノテーションを備えた新しいデータセットを寄贈する。
論文 参考訳（メタデータ） (2020-05-21T01:51:35Z) - Streaming Object Detection for 3-D Point Clouds [29.465873948076766]
LiDARは、多くの既存の知覚システムに通知する顕著な感覚モダリティを提供する。
ポイントクラウドデータに基づく知覚システムのレイテンシは、完全なローテーションスキャンの時間量によって支配される。
我々は、LiDARデータをそのネイティブストリーミング定式化で操作することで、自動運転オブジェクト検出にいくつかの利点があることを示す。
論文 参考訳（メタデータ） (2020-05-04T21:55:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。