論文の概要: Where2comm: Communication-Efficient Collaborative Perception via Spatial
Confidence Maps
- arxiv url: http://arxiv.org/abs/2209.12836v1
- Date: Mon, 26 Sep 2022 16:41:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 16:42:50.301878
- Title: Where2comm: Communication-Efficient Collaborative Perception via Spatial
Confidence Maps
- Title(参考訳): Where2comm:空間信頼マップによるコミュニケーション効率の良い協調認識
- Authors: Yue Hu, Shaoheng Fang, Zixing Lei, Yiqi Zhong, Siheng Chen
- Abstract要約: マルチエージェント協調知覚は、知覚性能を大幅に向上させる可能性がある。
これは必然的に、知覚性能と通信帯域間の根本的なトレードオフをもたらす。
本稿では,知覚情報の空間的不均一性を反映した空間信頼マップを提案する。
コミュニケーション効率の良い協調認識フレームワークであるWhere2commを提案する。
- 参考スコア(独自算出の注目度): 24.47241495415147
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-agent collaborative perception could significantly upgrade the
perception performance by enabling agents to share complementary information
with each other through communication. It inevitably results in a fundamental
trade-off between perception performance and communication bandwidth. To tackle
this bottleneck issue, we propose a spatial confidence map, which reflects the
spatial heterogeneity of perceptual information. It empowers agents to only
share spatially sparse, yet perceptually critical information, contributing to
where to communicate. Based on this novel spatial confidence map, we propose
Where2comm, a communication-efficient collaborative perception framework.
Where2comm has two distinct advantages: i) it considers pragmatic compression
and uses less communication to achieve higher perception performance by
focusing on perceptually critical areas; and ii) it can handle varying
communication bandwidth by dynamically adjusting spatial areas involved in
communication. To evaluate Where2comm, we consider 3D object detection in both
real-world and simulation scenarios with two modalities (camera/LiDAR) and two
agent types (cars/drones) on four datasets: OPV2V, V2X-Sim, DAIR-V2X, and our
original CoPerception-UAVs. Where2comm consistently outperforms previous
methods; for example, it achieves more than $100,000 \times$ lower
communication volume and still outperforms DiscoNet and V2X-ViT on OPV2V. Our
code is available at https://github.com/MediaBrain-SJTU/where2comm.
- Abstract(参考訳): 多エージェント協調知覚は、エージェント同士がコミュニケーションを通じて相補的な情報を共有できるようにすることで、知覚性能を大幅に向上させることができる。
これは必然的に知覚性能と通信帯域幅の根本的なトレードオフをもたらす。
そこで本研究では,知覚情報の空間的不均一性を反映した空間信頼度マップを提案する。
エージェントは空間的にスパースだが、知覚的に重要な情報を共有するだけで、コミュニケーションの場所に貢献することができる。
この空間的信頼度マップに基づいて,コミュニケーション効率の良い協調認識フレームワークであるWhere2commを提案する。
where2commには2つの利点がある。
一 実用的圧縮を考慮し、知覚的に重要な領域に焦点をあてて高い知覚能力を達成するためにコミュニケーションを少なくすること
二 通信に関わる空間領域を動的に調整することにより、様々な通信帯域幅を扱えること。
where2commを評価するために,実世界およびシミュレーションシナリオにおいて,opv2v,v2x-sim,dair-v2xの4つのデータセット上の2つのモダリティ(カメラ/ライダー)と2つのエージェントタイプ(カー/ドロネス)を用いた3次元物体検出法を検討した。
例えば、100,000 \times$低い通信容量を達成し、それでもOPV2VではDiscoNetとV2X-ViTを上回っている。
私たちのコードはhttps://github.com/mediabrain-sjtu/where2commで利用可能です。
関連論文リスト
- Pragmatic Communication in Multi-Agent Collaborative Perception [80.14322755297788]
協調的な知覚は、知覚能力とコミュニケーションコストのトレードオフをもたらす。
PragCommは2つの重要なコンポーネントを持つマルチエージェント協調認識システムである。
PragCommは、32.7K以上の通信量で従来手法より一貫して優れていた。
論文 参考訳(メタデータ) (2024-01-23T11:58:08Z) - Two-stream Multi-level Dynamic Point Transformer for Two-person
Interaction Recognition [65.87203087716263]
本稿では,2人インタラクション認識のための2ストリームマルチレベル動的ポイント変換器を提案する。
本モデルでは,局所空間情報,外観情報,動作情報を組み込むことで,対人インタラクションを認識するという課題に対処する。
我々のネットワークは、すべての標準評価設定において最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2023-07-22T03:51:32Z) - S2R-ViT for Multi-Agent Cooperative Perception: Bridging the Gap from
Simulation to Reality [41.25312194294171]
本稿では,S2R-ViT と名付けられた新しい視覚変換器を用いて,マルチエージェント協調認識のための第1から第1の現実への変換学習フレームワークを提案する。
OPV2VとV2V4Realの公共マルチエージェント協調認識データセットに関する実験により,提案したS2R-ViTがシミュレーションから現実へのギャップを効果的に埋めることを示す。
論文 参考訳(メタデータ) (2023-07-16T03:54:10Z) - Interruption-Aware Cooperative Perception for V2X Communication-Aided
Autonomous Driving [49.42873226593071]
本稿では,V2X通信支援自律運転のためのV2X通信入出力対応協調知覚(V2X-INCOP)を提案する。
我々は、過去の協力情報を用いて、割り込みによる行方不明情報を復元し、割り込み問題の影響を軽減する。
3つの公的な協調認識データセットの実験から,コミュニケーション中断が協調知覚に与える影響を緩和するために提案手法が有効であることが示された。
論文 参考訳(メタデータ) (2023-04-24T04:59:13Z) - V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision
Transformer [58.71845618090022]
我々は、道路上のエージェント間で情報を融合するために、V2X-ViTという全体論的アテンションモデルを構築した。
V2X-ViTは異質なマルチエージェント自己アテンションとマルチスケールウィンドウ自己アテンションの交互層から構成される。
我々のアプローチを検証するために、我々は大規模なV2X知覚データセットを作成します。
論文 参考訳(メタデータ) (2022-03-20T20:18:25Z) - V2X-Sim: A Virtual Collaborative Perception Dataset for Autonomous
Driving [26.961213523096948]
V2X(V2X)は、車両と周囲のあらゆる物体の協調を意味する。
V2X-Simデータセットは、自動運転における最初の大規模協調認識データセットである。
論文 参考訳(メタデータ) (2022-02-17T05:14:02Z) - Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data
Augmentation [77.60050239225086]
実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。
私達のアプローチは人間の相互作用なしで完全に自動です。
VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
論文 参考訳(メタデータ) (2020-12-15T03:03:38Z) - Learning to Communicate and Correct Pose Errors [75.03747122616605]
本稿では、V2VNetで提案された設定について検討し、近くにある自動運転車が共同で物体検出と動き予測を協調的に行う方法を提案する。
本稿では,コミュニケーションを学習し,潜在的な誤りを推定し,それらの誤りについてコンセンサスを得るための新しいニューラルネットワーク推論フレームワークを提案する。
論文 参考訳(メタデータ) (2020-11-10T18:19:40Z) - Who2com: Collaborative Perception via Learnable Handshake Communication [34.29310680302486]
本稿では,ロボットが周囲のエージェントと局所的な観察を組み合わせて学習可能な方法で認識タスクの精度を向上する,協調的知覚の問題を提案する。
ネットワーク通信プロトコルにヒントを得た多段階ハンドシェイク通信機構を提案する。
セマンティックセグメンテーションタスクにおいて、ハンドシェイク通信方式は、分散ベースラインよりも約20%精度が向上し、帯域幅の4分の1を使用した集中型セグメンテーションに匹敵することを示す。
論文 参考訳(メタデータ) (2020-03-21T04:16:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。