Fugu-MT 論文翻訳(概要): Robust Asynchronous Collaborative 3D Detection via Bird's Eye View Flow

論文の概要: Robust Asynchronous Collaborative 3D Detection via Bird's Eye View Flow

arxiv url: http://arxiv.org/abs/2309.16940v1
Date: Fri, 29 Sep 2023 02:45:56 GMT
ステータス: 処理完了
システム内更新日: 2023-10-02 15:46:27.279287
Title: Robust Asynchronous Collaborative 3D Detection via Bird's Eye View Flow
Title（参考訳）: 鳥眼流によるロバスト非同期協調3次元検出
Authors: Sizhe Wei, Yuxi Wei, Yue Hu, Yifan Lu, Yiqi Zhong, Siheng Chen, Ya Zhang
Abstract要約: エージェント間の時間的同期は、通信の遅延、割り込み、時計のミスアライメントにより、現実世界では避けられない。本研究では,鳥の視線(BEV)の流れに基づく3次元同時観測システムCoBEVFlowを提案する。
参考スコア（独自算出の注目度）: 45.670727141966545
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: By facilitating communication among multiple agents, collaborative perception can substantially boost each agent's perception ability. However, temporal asynchrony among agents is inevitable in real-world due to communication delays, interruptions, and clock misalignments. This issue causes information mismatch during multi-agent fusion, seriously shaking the foundation of collaboration. To address this issue, we propose CoBEVFlow, an asynchrony-robust collaborative 3D perception system based on bird's eye view (BEV) flow. The key intuition of CoBEVFlow is to compensate motions to align asynchronous collaboration messages sent by multiple agents. To model the motion in a scene, we propose BEV flow, which is a collection of the motion vector corresponding to each spatial location. Based on BEV flow, asynchronous perceptual features can be reassigned to appropriate positions, mitigating the impact of asynchrony. CoBEVFlow has two advantages: (i) CoBEVFlow can handle asynchronous collaboration messages sent at irregular, continuous time stamps without discretization; and (ii) with BEV flow, CoBEVFlow only transports the original perceptual features, instead of generating new perceptual features, avoiding additional noises. To validate CoBEVFlow's efficacy, we create IRregular V2V(IRV2V), the first synthetic collaborative perception dataset with various temporal asynchronies that simulate different real-world scenarios. Extensive experiments conducted on both IRV2V and the real-world dataset DAIR-V2X show that CoBEVFlow consistently outperforms other baselines and is robust in extremely asynchronous settings. The code will be released.
Abstract（参考訳）: 複数のエージェント間のコミュニケーションを容易にすることで、協調的な知覚は各エージェントの知覚能力を大幅に向上させることができる。しかし、エージェント間の時間的同期は、通信遅延、割り込み、クロックの不一致により、現実世界では避けられない。この問題は、マルチエージェント融合中に情報ミスマッチを引き起こし、コラボレーションの基礎をひどく揺るがす。この問題に対処するために,鳥の目視(BEV)の流れに基づく,非同期でロバストな3D認識システムであるCoBEVFlowを提案する。 CoBEVFlowの重要な直感は、複数のエージェントが送信した非同期コラボレーションメッセージを調整するために、モーションを補償することである。シーン内の動きをモデル化するために,各空間位置に対応する動きベクトルの集合であるBEVフローを提案する。 BEVフローに基づいて、非同期の知覚的特徴を適切な位置に割り当て、非同期性の影響を軽減することができる。 CoBEVFlowには2つの利点がある。 (i)CoBEVFlowは、不規則かつ連続したタイムスタンプで送信される非同期の協調メッセージを識別することなく処理することができる。 (ii) BEVフローでは、CoBEVFlowは、新しい知覚機能を生成する代わりに、元の知覚機能のみを輸送し、追加のノイズを避ける。 CoBEVFlowの有効性を検証するために、実世界の様々なシナリオをシミュレートする様々な時間軸索を持つ最初の合成協調認識データセットIRV2V(IRV2V)を作成する。 IRV2Vと実世界のデータセットであるDAIR-V2Xで実施された大規模な実験は、CoBEVFlowが他のベースラインを一貫して上回り、非常に非同期な設定で堅牢であることを示している。コードはリリースされます。

関連論文リスト

BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training [5.7294516069851475]
BitPipeは、大規模なモデルのトレーニングを加速するための双方向のインターリーブパイプライン並列処理である。最新の同期手法と比較して,BitPipeはGPTスタイルとBERTスタイルのモデルのトレーニングスループットを1.05x-1.28倍向上することを示す。
論文参考訳（メタデータ） (2024-10-25T08:08:51Z)
AsyncDiff: Parallelizing Diffusion Models by Asynchronous Denoising [49.785626309848276]
AsyncDiffは、複数のデバイスにまたがるモデル並列化を可能にする、普遍的でプラグアンドプレイのアクセラレーションスキームである。安定拡散 v2.1 では、AsyncDiff は2.7倍の速度アップと4.0倍のスピードアップを実現し、CLIPスコアの 0.38 をわずかに削減した。我々の実験は、AsyncDiffがビデオ拡散モデルに容易に適用でき、性能を向上できることを示した。
論文参考訳（メタデータ） (2024-06-11T03:09:37Z)
Communication-Efficient Collaborative Perception via Information Filling with Codebook [48.087934650038044]
協調的知覚は、他のエージェントと知覚的メッセージの交換を通じて、各エージェントに知覚能力を向上させる権限を与える。このボトルネック問題に対処するため、私たちの中核となる考え方は、協調メッセージを2つの重要な側面、すなわち表現と選択から最適化することにあります。これら2つの設計を統合することで,新しいコミュニケーション効率の協調認識システムであるCodeFillingを提案する。
論文参考訳（メタデータ） (2024-05-08T11:12:37Z)
Unlocking Past Information: Temporal Embeddings in Cooperative Bird's Eye View Prediction [34.68695222573004]
本稿では,現在の観測に歴史的手がかりを取り入れた時間モジュールであるTempCoBEVを紹介する。我々は,TempCoBEVの有効性と,現在のBEVマップに歴史的手がかりを統合する能力を示し,最適な通信条件下での予測を最大2%,通信障害下での予測を最大19%改善する。
論文参考訳（メタデータ） (2024-01-25T17:21:35Z)
StreamingFlow: Streaming Occupancy Forecasting with Asynchronous Multi-modal Data Streams via Neural Ordinary Differential Equation [15.441175735210791]
StreamingFlowは、非同期マルチセンサーデータストリームを融合するために取り込む、新しいBEV占有予測器である。時間的地平線上でのBEV特徴の微分を学習し、融合プロセスの一部として暗黙センサのBEV特徴を更新し、BEV状態を望ましい将来時点に伝播する。従来のビジョンベース、LiDARベースの手法よりも優れており、最先端の融合方式よりも優れた性能を示している。
論文参考訳（メタデータ） (2023-02-19T14:38:01Z)
AFAFed -- Protocol analysis [3.016628653955123]
これは、ストリーム指向IoTアプリケーション環境のための新しいFair Federated Adaptive Learningフレームワークである。我々は収束特性を分析し、AFAFedの実装面に対処する。
論文参考訳（メタデータ） (2022-06-29T22:12:08Z)
Real-time Object Detection for Streaming Perception [84.2559631820007]
ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
論文参考訳（メタデータ） (2022-03-23T11:33:27Z)
Blockchain-enabled Server-less Federated Learning [5.065631761462706]
我々は、(BC)技術によって強化された非同期サーバーレスフェデレートラーニングソリューションに焦点を当てる。主に採用されているFLアプローチとは対照的に、クライアントがローカル更新を送信する際にモデルアグリゲーションを行う非同期手法を提唱する。
論文参考訳（メタデータ） (2021-12-15T07:41:23Z)
Full-Duplex Strategy for Video Object Segmentation [141.43983376262815]
Full- Strategy Network (FSNet)はビデオオブジェクトセグメンテーション(VOS)のための新しいフレームワークである我々のFSNetは、融合復号ステージの前に、クロスモーダルな機能パス(すなわち、送信と受信)を同時に実行します。我々のFSNetは、VOSとビデオの有能なオブジェクト検出タスクの両方において、他の最先端技術よりも優れていることを示す。
論文参考訳（メタデータ） (2021-08-06T14:50:50Z)
Higher Performance Visual Tracking with Dual-Modal Localization [106.91097443275035]
Visual Object Tracking (VOT)は、堅牢性と正確性の両方に同期性を必要とする。 ONRによるロバストなローカリゼーション抑制器とOFCによるターゲットセンターへの正確なローカリゼーションにより、ターゲットローカリゼーションのためのデュアルモーダルフレームワークを提案します。
論文参考訳（メタデータ） (2021-03-18T08:47:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。