論文の概要: Collaborative Semantic Occupancy Prediction with Hybrid Feature Fusion
in Connected Automated Vehicles
- arxiv url: http://arxiv.org/abs/2402.07635v1
- Date: Mon, 12 Feb 2024 13:19:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 14:18:25.495210
- Title: Collaborative Semantic Occupancy Prediction with Hybrid Feature Fusion
in Connected Automated Vehicles
- Title（参考訳）: 連系自動車におけるハイブリッド機能融合による協調的セマンティック占有予測
- Authors: Rui Song, Chenwei Liang, Hu Cao, Zhiran Yan, Walter Zimmer, Markus
Gross, Andreas Festag, Alois Knoll
- Abstract要約: 協調的な3Dセマンティック占有予測のための最初の手法を提案する。
セマンティックタスクと占有タスクのハイブリッド融合により、局所的な3Dセマンティック占有予測を改善する。
我々のモデルは、後続の知覚への応用において、最先端の協調的な3D検出技術に勝るセマンティック占有度に依存している。
- 参考スコア（独自算出の注目度）: 13.734556582355438
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collaborative perception in automated vehicles leverages the exchange of
information between agents, aiming to elevate perception results. Previous
camera-based collaborative 3D perception methods typically employ 3D bounding
boxes or bird's eye views as representations of the environment. However, these
approaches fall short in offering a comprehensive 3D environmental prediction.
To bridge this gap, we introduce the first method for collaborative 3D semantic
occupancy prediction. Particularly, it improves local 3D semantic occupancy
predictions by hybrid fusion of (i) semantic and occupancy task features, and
(ii) compressed orthogonal attention features shared between vehicles.
Additionally, due to the lack of a collaborative perception dataset designed
for semantic occupancy prediction, we augment a current collaborative
perception dataset to include 3D collaborative semantic occupancy labels for a
more robust evaluation. The experimental findings highlight that: (i) our
collaborative semantic occupancy predictions excel above the results from
single vehicles by over 30%, and (ii) models anchored on semantic occupancy
outpace state-of-the-art collaborative 3D detection techniques in subsequent
perception applications, showcasing enhanced accuracy and enriched
semantic-awareness in road environments.
- Abstract（参考訳）: 自動車両における協調的知覚は、エージェント間の情報の交換を利用して、知覚結果を高めることを目的としている。
従来のカメラベースの協調3D認識手法では、通常、環境の表現として3D境界ボックスや鳥の目視を用いる。
しかし、これらのアプローチは包括的3次元環境予測を提供するには不足している。
このギャップを埋めるために,第1の3次元意味的占有予測法を提案する。
特に,ハイブリッド融合による局所的3次元意味的占有予測を改善する
(i)意味的・占有的タスクの特徴、及び
(ii)車両間で共有される圧縮直交注意特徴。
さらに,意味的占有予測のために設計された協調的知覚データセットの欠如により,現在の協調的知覚データセットを拡張し,より堅牢な評価のために3次元協調的意味的占有ラベルを含む。
実験の結果は
(i)1台の車両の結果を30%以上上回る、共同的な意味的占有率予測が優れている。
(ii)semantic occupancyに根ざしたモデルは、その後の知覚応用において最先端の3d検出技術よりも優れており、道路環境における精度の向上とセマンティック・アウェアネスの向上を示している。
関連論文リスト
- ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。
本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。
私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
論文 参考訳（メタデータ） (2024-11-12T11:32:56Z) - WildOcc: A Benchmark for Off-Road 3D Semantic Occupancy Prediction [9.639795825672023]
オフロード環境は幾何学的情報に富んでいるため、3Dセマンティック占有予測タスクに適している。
オフロード3Dセマンティック占有予測タスクに密接な占有アノテーションを提供する最初のベンチマークであるWildOccを紹介する。
本稿では, より現実的な結果を得るために, 粗大な再構成を用いた基礎的真理生成パイプラインを提案する。
論文 参考訳（メタデータ） (2024-10-21T09:02:40Z) - Vision-based 3D occupancy prediction in autonomous driving: a review and outlook [19.939380586314673]
本稿では,視覚に基づく3次元占有予測の背景を紹介し,その課題について論じる。
我々は3つの側面から視覚に基づく3D占有率予測の進捗状況を総合的に調査する。
代表的な研究動向を概説し,今後の展望を提案する。
論文 参考訳（メタデータ） (2024-05-04T07:39:25Z) - RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering
Assisted Distillation [50.35403070279804]
マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。
本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
論文 参考訳（メタデータ） (2023-12-19T03:39:56Z) - Volumetric Semantically Consistent 3D Panoptic Mapping [77.13446499924977]
非構造環境における自律エージェントに適したセマンティック3Dマップを生成することを目的としたオンライン2次元から3次元のセマンティック・インスタンスマッピングアルゴリズムを提案する。
マッピング中にセマンティック予測の信頼性を統合し、セマンティックおよびインスタンス一貫性のある3D領域を生成する新しい方法を導入する。
提案手法は,パブリックな大規模データセット上での最先端の精度を実現し,多くの広く使用されているメトリクスを改善した。
論文 参考訳（メタデータ） (2023-09-26T08:03:10Z) - 3D Pose Nowcasting: Forecast the Future to Improve the Present [65.65178700528747]
本研究では,骨格関節の3次元位置を正確に把握するために,深度データを利用した新しい視覚ベースシステムを提案する。
本稿では,現在のポーズ推定精度を高めるため,提案システムの有効性を示すPose Nowcastingの概念を紹介する。
実験的な評価は2つの異なるデータセットで行われ、正確かつリアルタイムなパフォーマンスを提供する。
論文 参考訳（メタデータ） (2023-08-24T16:40:47Z) - Spatio-Temporal Domain Awareness for Multi-Agent Collaborative
Perception [18.358998861454477]
車両間通信の潜在的な応用としてのマルチエージェント協調認識は、単一エージェント認識よりも自律走行車の性能知覚を著しく向上させる可能性がある。
本稿では,エージェント間の認識特性をエンドツーエンドに集約する新しい協調認識フレームワークSCOPEを提案する。
論文 参考訳（メタデータ） (2023-07-26T03:00:31Z) - A Simple Framework for 3D Occupancy Estimation in Autonomous Driving [16.605853706182696]
本稿では,CNNをベースとした3次元占有率推定のための重要な要素をいくつか明らかにするフレームワークを提案する。
また,3次元占有率推定と,単眼深度推定や3次元再構成などの関連課題との関係についても検討した。
論文 参考訳（メタデータ） (2023-03-17T15:57:14Z) - Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose
Estimation [63.199549837604444]
3次元ポーズ推定アプローチは、強い(2D/3Dポーズ)または弱い(複数ビューまたは深さ)ペアによる監督の異なる形態を利用する。
我々は3Dポーズ学習を,ラベル付きソースドメインから完全に損なわれないターゲットへのタスク知識の転送を目的とした,自己指導型適応問題として捉えた。
我々は、異なる自己適応設定を評価し、標準ベンチマークで最先端の3Dポーズ推定性能を示す。
論文 参考訳（メタデータ） (2022-04-05T03:52:57Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。