論文の概要: Cam4DOcc: Benchmark for Camera-Only 4D Occupancy Forecasting in
Autonomous Driving Applications
- arxiv url: http://arxiv.org/abs/2311.17663v1
- Date: Wed, 29 Nov 2023 14:25:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 21:08:27.442426
- Title: Cam4DOcc: Benchmark for Camera-Only 4D Occupancy Forecasting in
Autonomous Driving Applications
- Title（参考訳）: Cam4DOcc: 自動運転アプリケーションにおけるカメラオンリーの4D作業予測ベンチマーク
- Authors: Junyi Ma, Xieyuanli Chen, Jiawei Huang, Jingyi Xu, Zhen Luo, Jintao
Xu, Weihao Gu, Rui Ai, Hesheng Wang
- Abstract要約: Cam4DOccは、カメラのみの4D占有率予測のための新しいベンチマークで、近い将来、周囲の変化を評価する。
私たちは、nuScenes、nuScenes-Occupancy、Lyft-Level5など、複数の公開データセットに基づいて、ベンチマークを構築しています。
このベンチマークを総合的な比較による将来の研究のために確立するために、様々なカメラベースの認識と予測の実装から4つのベースラインタイプを導入する。
- 参考スコア（独自算出の注目度）: 21.346206141059156
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding how the surrounding environment changes is crucial for
performing downstream tasks safely and reliably in autonomous driving
applications. Recent occupancy estimation techniques using only camera images
as input can provide dense occupancy representations of large-scale scenes
based on the current observation. However, they are mostly limited to
representing the current 3D space and do not consider the future state of
surrounding objects along the time axis. To extend camera-only occupancy
estimation into spatiotemporal prediction, we propose Cam4DOcc, a new benchmark
for camera-only 4D occupancy forecasting, evaluating the surrounding scene
changes in a near future. We build our benchmark based on multiple publicly
available datasets, including nuScenes, nuScenes-Occupancy, and Lyft-Level5,
which provides sequential occupancy states of general movable and static
objects, as well as their 3D backward centripetal flow. To establish this
benchmark for future research with comprehensive comparisons, we introduce four
baseline types from diverse camera-based perception and prediction
implementations, including a static-world occupancy model, voxelization of
point cloud prediction, 2D-3D instance-based prediction, and our proposed novel
end-to-end 4D occupancy forecasting network. Furthermore, the standardized
evaluation protocol for preset multiple tasks is also provided to compare the
performance of all the proposed baselines on present and future occupancy
estimation with respect to objects of interest in autonomous driving scenarios.
The dataset and our implementation of all four baselines in the proposed
Cam4DOcc benchmark will be released here: https://github.com/haomo-ai/Cam4DOcc.
- Abstract（参考訳）: 自動運転アプリケーションにおいて、下流のタスクを安全かつ確実に実行する上で、環境の変化を理解することが重要である。
カメラ画像のみを入力とした近年の占有率推定手法は、現在の観測に基づいて大規模シーンの集中占有率表現を提供することができる。
しかし、それらは主に現在の3d空間の表現に制限されており、時間軸に沿った周囲の物体の将来状態を考慮していない。
カメラのみの占有率推定を時空間予測に拡張するために,カメラのみの占有率予測のための新しいベンチマークであるcam4doccを提案する。
私たちは、nuScenes、nuScenes-Occupancy、Lyft-Level5など、公開されている複数のデータセットに基づいてベンチマークを構築しています。
このベンチマークを総合的な比較による将来の研究のために,静的世界占有モデル,点雲予測のボクセル化,2D-3Dインスタンスベース予測,提案するエンドツーエンドの4D占有予測ネットワークなど,多様なカメラベース認識と予測実装の4つのベースラインタイプを紹介した。
さらに,複数タスクの事前設定のための標準化された評価プロトコルも提供され,自律運転シナリオに関心のある対象に対して,現在および将来の占有率推定に基づく全てのベースラインの性能を比較した。
Cam4DOccベンチマークで提案された4つのベースラインのデータセットと実装は以下の通りである。
関連論文リスト
- WildOcc: A Benchmark for Off-Road 3D Semantic Occupancy Prediction [9.639795825672023]
オフロード環境は幾何学的情報に富んでいるため、3Dセマンティック占有予測タスクに適している。
オフロード3Dセマンティック占有予測タスクに密接な占有アノテーションを提供する最初のベンチマークであるWildOccを紹介する。
本稿では, より現実的な結果を得るために, 粗大な再構成を用いた基礎的真理生成パイプラインを提案する。
論文 参考訳（メタデータ） (2024-10-21T09:02:40Z) - XLD: A Cross-Lane Dataset for Benchmarking Novel Driving View Synthesis [84.23233209017192]
本稿では,自律走行シミュレーションに特化して設計された新しい駆動ビュー合成データセットとベンチマークを提案する。
データセットには、トレーニング軌跡から1-4mずれて取得した画像のテストが含まれているため、ユニークなものだ。
我々は、フロントオンリーおよびマルチカメラ設定下で、既存のNVSアプローチを評価するための最初の現実的なベンチマークを確立する。
論文 参考訳（メタデータ） (2024-06-26T14:00:21Z) - OccFusion: Multi-Sensor Fusion Framework for 3D Semantic Occupancy Prediction [11.33083039877258]
本稿では,3次元占有予測のための新しいセンサ融合フレームワークであるOccFusionを紹介する。
ライダーやサラウンドビューレーダなどの付加センサの機能を統合することで、我々のフレームワークは占有率予測の精度と堅牢性を高めることができる。
論文 参考訳（メタデータ） (2024-03-03T23:46:06Z) - SGV3D:Towards Scenario Generalization for Vision-based Roadside 3D Object Detection [27.991404725024953]
現在の視覚に基づく道路側検出法は,ラベル付きシーンでは精度が高いが,新しいシーンでは性能が劣る。
これは、ロードサイドカメラが設置後も静止しているためであり、その結果、これらのロードサイドの背景とカメラのポーズにアルゴリズムが適合しているためである。
我々は,SGV3Dと呼ばれる,視覚に基づく道路側3次元物体検出のための革新的なシナリオ一般化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T12:31:13Z) - OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳（メタデータ） (2023-12-14T18:58:52Z) - Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting [58.45661235893729]
有望な自己管理タスクの1つは、注釈のないLiDARシーケンスからの3Dポイントクラウド予測である。
本課題は,(1)センサ外在物(自動運転車の移動),(2)センサ内在物(特定のLiDARセンサに特有のサンプリングパターン),(3)シーン内の他の物体の形状と動きを暗黙的にキャプチャするアルゴリズムを必要とすることを示す。
センサ外在性および内在性に関する4D占有率予測のポイントクラウドデータをレンダリングすることにより、注釈のないLiDARシーケンスで占有率アルゴリズムをトレーニングし、テストすることができる。
論文 参考訳（メタデータ） (2023-02-25T18:12:37Z) - Receding Moving Object Segmentation in 3D LiDAR Data Using Sparse 4D
Convolutions [33.538055872850514]
歩行歩行者や自動車などの現在移動している物体に属する3D LiDAR点と、壁や駐車中の車など移動しない物体から得られる点とを区別する問題に対処する。
我々の手法は観測されたLiDARスキャンを連続して4D点雲に変換する。
計算効率の良いスパース4D畳み込みを適用し,空間的特徴と時間的特徴を共同抽出し,各点の移動物体の信頼度を推定する。
論文 参考訳（メタデータ） (2022-06-08T18:51:14Z) - BEVerse: Unified Perception and Prediction in Birds-Eye-View for
Vision-Centric Autonomous Driving [92.05963633802979]
マルチカメラシステムに基づく3次元認識と予測のための統合フレームワークであるBEVerseを提案する。
マルチタスクBEVerseは3次元オブジェクト検出,セマンティックマップ構築,動き予測において単一タスク法より優れていることを示す。
論文 参考訳（メタデータ） (2022-05-19T17:55:35Z) - Predicting Future Occupancy Grids in Dynamic Environment with
Spatio-Temporal Learning [63.25627328308978]
本稿では,将来の占有予測を生成するための時間的予測ネットワークパイプラインを提案する。
現在のSOTAと比較して、我々の手法は3秒の長い水平線での占有を予測している。
我々は、さらなる研究を支援するために、nulisに基づくグリッド占有データセットを公開します。
論文 参考訳（メタデータ） (2022-05-06T13:45:32Z) - Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。
移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-12T15:30:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。