論文の概要: Asynchrony-Robust Collaborative Perception via Bird's Eye View Flow
- arxiv url: http://arxiv.org/abs/2309.16940v2
- Date: Mon, 9 Oct 2023 03:46:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 02:46:26.208160
- Title: Asynchrony-Robust Collaborative Perception via Bird's Eye View Flow
- Title(参考訳): 鳥の視線を通した同時破壊的協調知覚
- Authors: Sizhe Wei, Yuxi Wei, Yue Hu, Yifan Lu, Yiqi Zhong, Siheng Chen, Ya
Zhang
- Abstract要約: 協調的知覚は、複数のエージェント間のコミュニケーションを促進することによって、各エージェントの知覚能力を高めることができる。
しかし、エージェント間の時間的同期は、通信遅延、割り込み、時計の不一致により、現実世界では避けられない。
本稿では,鳥の視線(BEV)の流れをベースとした,非同期・ロバスト協調認識システムCoBEVFlowを提案する。
- 参考スコア(独自算出の注目度): 45.670727141966545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Collaborative perception can substantially boost each agent's perception
ability by facilitating communication among multiple agents. However, temporal
asynchrony among agents is inevitable in the real world due to communication
delays, interruptions, and clock misalignments. This issue causes information
mismatch during multi-agent fusion, seriously shaking the foundation of
collaboration. To address this issue, we propose CoBEVFlow, an
asynchrony-robust collaborative perception system based on bird's eye view
(BEV) flow. The key intuition of CoBEVFlow is to compensate motions to align
asynchronous collaboration messages sent by multiple agents. To model the
motion in a scene, we propose BEV flow, which is a collection of the motion
vector corresponding to each spatial location. Based on BEV flow, asynchronous
perceptual features can be reassigned to appropriate positions, mitigating the
impact of asynchrony. CoBEVFlow has two advantages: (i) CoBEVFlow can handle
asynchronous collaboration messages sent at irregular, continuous time stamps
without discretization; and (ii) with BEV flow, CoBEVFlow only transports the
original perceptual features, instead of generating new perceptual features,
avoiding additional noises. To validate CoBEVFlow's efficacy, we create
IRregular V2V(IRV2V), the first synthetic collaborative perception dataset with
various temporal asynchronies that simulate different real-world scenarios.
Extensive experiments conducted on both IRV2V and the real-world dataset
DAIR-V2X show that CoBEVFlow consistently outperforms other baselines and is
robust in extremely asynchronous settings. The code is available at
https://github.com/MediaBrain-SJTU/CoBEVFlow.
- Abstract(参考訳): 協調的知覚は、複数のエージェント間のコミュニケーションを容易にすることで、各エージェントの知覚能力を大幅に向上させることができる。
しかし、エージェント間の時間的同期は、通信遅延、割り込み、時計の不一致により、現実世界では避けられない。
この問題は、マルチエージェント融合中に情報ミスマッチを引き起こし、コラボレーションの基礎をひどく揺るがす。
この問題に対処するために,鳥の目視(BEV)の流れをベースとした非同期ロバスト協調認識システムであるCoBEVFlowを提案する。
CoBEVFlowの重要な直感は、複数のエージェントが送信した非同期コラボレーションメッセージを調整するために、モーションを補償することである。
シーン内の動きをモデル化するために,各空間位置に対応する動きベクトルの集合であるBEVフローを提案する。
BEVフローに基づいて、非同期の知覚的特徴を適切な位置に割り当て、非同期性の影響を軽減することができる。
CoBEVFlowには2つの利点がある。
(i)CoBEVFlowは、不規則かつ連続したタイムスタンプで送信される非同期の協調メッセージを識別することなく処理することができる。
(ii) BEVフローでは、CoBEVFlowは、新しい知覚機能を生成する代わりに、元の知覚機能のみを輸送し、追加のノイズを避ける。
CoBEVFlowの有効性を検証するために、実世界の様々なシナリオをシミュレートする様々な時間軸索を持つ最初の合成協調認識データセットIRV2V(IRV2V)を作成する。
IRV2Vと実世界のデータセットであるDAIR-V2Xで実施された大規模な実験は、CoBEVFlowが他のベースラインを一貫して上回り、非常に非同期な設定で堅牢であることを示している。
コードはhttps://github.com/MediaBrain-SJTU/CoBEVFlowで入手できる。
関連論文リスト
- Communication-Efficient Collaborative Perception via Information Filling with Codebook [48.087934650038044]
協調的知覚は、他のエージェントと知覚的メッセージの交換を通じて、各エージェントに知覚能力を向上させる権限を与える。
このボトルネック問題に対処するため、私たちの中核となる考え方は、協調メッセージを2つの重要な側面、すなわち表現と選択から最適化することにあります。
これら2つの設計を統合することで,新しいコミュニケーション効率の協調認識システムであるCodeFillingを提案する。
論文 参考訳(メタデータ) (2024-05-08T11:12:37Z) - Federated Contextual Cascading Bandits with Asynchronous Communication
and Heterogeneous Users [95.77678166036561]
繊細な通信プロトコルを用いたUPB型アルゴリズムを提案する。
同期フレームワークで達成されたものと同等のサブ線形後悔境界を与えます。
合成および実世界のデータセットに関する実証評価は、後悔と通信コストの観点から、我々のアルゴリズムの優れた性能を検証する。
論文 参考訳(メタデータ) (2024-02-26T05:31:14Z) - ALERT-Transformer: Bridging Asynchronous and Synchronous Machine
Learning for Real-Time Event-based Spatio-Temporal Data [9.291620200143903]
非同期センシングと同期処理を組み合わせたハイブリッドパイプラインを提案する。
競争相手よりもレイテンシの低い最先端のパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2024-02-02T13:17:19Z) - Unlocking Past Information: Temporal Embeddings in Cooperative Bird's
Eye View Prediction [34.68695222573004]
本稿では,現在の観測に歴史的手がかりを取り入れた時間モジュールであるTempCoBEVを紹介する。
我々は,TempCoBEVの有効性と,現在のBEVマップに歴史的手がかりを統合する能力を示し,最適な通信条件下での予測を最大2%,通信障害下での予測を最大19%改善する。
論文 参考訳(メタデータ) (2024-01-25T17:21:35Z) - Federated Learning via Indirect Server-Client Communications [20.541942109704987]
Federated Learning(FL)は、コミュニケーション効率とプライバシ保護のための分散機械学習フレームワークである。
本稿では,FedEx という新しい FL フレームワークを提案する。このフレームワークは移動体トランスポーターを用いてサーバとクライアント間の間接的な通信チャネルを確立する。
FedEx-SyncとFedEx-Asyncと呼ばれる2つのアルゴリズムは、トランスポーターが同期または非同期スケジュールを採用するかどうかによって開発される。
論文 参考訳(メタデータ) (2023-02-14T20:12:36Z) - AFAFed -- Protocol analysis [3.016628653955123]
これは、ストリーム指向IoTアプリケーション環境のための新しいFair Federated Adaptive Learningフレームワークである。
我々は収束特性を分析し、AFAFedの実装面に対処する。
論文 参考訳(メタデータ) (2022-06-29T22:12:08Z) - Real-time Object Detection for Streaming Perception [84.2559631820007]
ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。
ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。
提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
論文 参考訳(メタデータ) (2022-03-23T11:33:27Z) - Blockchain-enabled Server-less Federated Learning [5.065631761462706]
我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。
主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
論文 参考訳(メタデータ) (2021-12-15T07:41:23Z) - Full-Duplex Strategy for Video Object Segmentation [141.43983376262815]
Full- Strategy Network (FSNet)はビデオオブジェクトセグメンテーション(VOS)のための新しいフレームワークである
我々のFSNetは、融合復号ステージの前に、クロスモーダルな機能パス(すなわち、送信と受信)を同時に実行します。
我々のFSNetは、VOSとビデオの有能なオブジェクト検出タスクの両方において、他の最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-08-06T14:50:50Z) - Higher Performance Visual Tracking with Dual-Modal Localization [106.91097443275035]
Visual Object Tracking (VOT)は、堅牢性と正確性の両方に同期性を必要とする。
ONRによるロバストなローカリゼーション抑制器とOFCによるターゲットセンターへの正確なローカリゼーションにより、ターゲットローカリゼーションのためのデュアルモーダルフレームワークを提案します。
論文 参考訳(メタデータ) (2021-03-18T08:47:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。