論文の概要: V2XPnP: Vehicle-to-Everything Spatio-Temporal Fusion for Multi-Agent Perception and Prediction

• arxiv url: http://arxiv.org/abs/2412.01812v1
• Date: Mon, 02 Dec 2024 18:55:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:44:50.161132
• Title: V2XPnP: Vehicle-to-Everything Spatio-Temporal Fusion for Multi-Agent Perception and Prediction
• Title（参考訳）: V2XPnP:マルチエージェント・パーセプションと予測のための車両間時空間融合
• Authors: Zewei Zhou, Hao Xiang, Zhaoliang Zheng, Seth Z. Zhao, Mingyue Lei, Yun Zhang, Tianhui Cai, Xinyi Liu, Johnson Liu, Maheswari Bajji, Jacob Pham, Xin Xia, Zhiyu Huang, Bolei Zhou, Jiaqi Ma,
• Abstract要約: V2X(Valby-to-everything)技術は、単一車両システムにおける制約された可観測性の制限を緩和する、有望なパラダイムを提供する。 以前の研究は主に単一フレームの協調的な認識に焦点を当てていた。 本稿では,V2Xシナリオにおける時間的知覚と予測タスクと,ワンステップ・マルチ時間通信戦略に着目した。
• 参考スコア（独自算出の注目度）: 43.506717060709136
• License:
• Abstract: Vehicle-to-everything (V2X) technologies offer a promising paradigm to mitigate the limitations of constrained observability in single-vehicle systems. Prior work primarily focuses on single-frame cooperative perception, which fuses agents' information across different spatial locations but ignores temporal cues and temporal tasks (e.g., temporal perception and prediction). In this paper, we focus on temporal perception and prediction tasks in V2X scenarios and design one-step and multi-step communication strategies (when to transmit) as well as examine their integration with three fusion strategies - early, late, and intermediate (what to transmit), providing comprehensive benchmarks with various fusion models (how to fuse). Furthermore, we propose V2XPnP, a novel intermediate fusion framework within one-step communication for end-to-end perception and prediction. Our framework employs a unified Transformer-based architecture to effectively model complex spatiotemporal relationships across temporal per-frame, spatial per-agent, and high-definition map. Moreover, we introduce the V2XPnP Sequential Dataset that supports all V2X cooperation modes and addresses the limitations of existing real-world datasets, which are restricted to single-frame or single-mode cooperation. Extensive experiments demonstrate our framework outperforms state-of-the-art methods in both perception and prediction tasks.
• Abstract（参考訳）: V2X(Valby-to-everything)技術は、単一車両システムにおける制約された可観測性の制限を緩和する、有望なパラダイムを提供する。 従来の作業は、エージェントの情報を異なる空間的場所にわたって融合する単一フレーム協調的知覚に重点を置いていたが、時間的手がかりや時間的タスク(時間的知覚や予測など)を無視している。 本稿では、V2Xシナリオにおける時間的知覚と予測タスクに着目し、一段階・多段階通信戦略(送信時)を設計し、また、早期・後期・中間(送信時)の3つの融合戦略との統合を検証し、様々な融合モデル(融合方法)による総合的なベンチマークを提供する。 さらに,エンド・ツー・エンドの知覚と予測のためのワンステップ通信における新たな中間融合フレームワークであるV2XPnPを提案する。 本フレームワークはトランスフォーマーをベースとした統合アーキテクチャを用いて,時間単位のフレーム,空間単位のエージェント,高精細マップ間の複雑な時空間関係を効果的にモデル化する。 さらに、V2XPnP Sequential Datasetを導入し、V2Xのすべての協調モードをサポートし、既存の実世界のデータセットの制限に対処する。 大規模な実験により、我々のフレームワークは認識タスクと予測タスクの両方において最先端の手法より優れていることを示した。

関連論文リスト

• Context-Conditioned Spatio-Temporal Predictive Learning for Reliable V2V Channel Prediction [25.688521281119037]
  下流タスクの最適化には,V2Vチャネル状態情報(CSI)予測が不可欠である。 従来の予測手法は、時間、帯域幅、アンテナ(TX、RX)空間の予測を含む4次元(4D)CSIに重点を置いている。 本研究では,4次元CSIデータ内の依存関係をキャプチャするコンテキスト条件付き時間予測学習手法を提案する。
  論文  参考訳（メタデータ） (2024-09-16T04:15:36Z)
• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• Conformal Trajectory Prediction with Multi-View Data Integration in Cooperative Driving [4.628774934971078]
  軌道予測に関する現在の研究は、主にエゴ車両の搭載センサーによって収集されたデータに依存している。 V2INetは、既存の単一ビューモデルを拡張することで、マルチビューデータをモデル化するための新しい軌道予測フレームワークである。 以上の結果から,FDE(Final Displacement Error)とMR(Miss Rate)において,単一GPUを用いた優れた性能を示した。
  論文  参考訳（メタデータ） (2024-08-01T08:32:03Z)
• Practical Collaborative Perception: A Framework for Asynchronous and Multi-Agent 3D Object Detection [9.967263440745432]
  咬合は、LiDARベースのオブジェクト検出方法において大きな課題である。 最先端のV2X手法は、中間協調手法を用いて性能帯域幅のトレードオフを解消する。 我々は,従来の方法よりも帯域幅と性能のトレードオフを向上する,シンプルで効果的な協調手法を考案した。
  論文  参考訳（メタデータ） (2023-07-04T03:49:42Z)
• V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer [58.71845618090022]
  我々は、道路上のエージェント間で情報を融合するために、V2X-ViTという全体論的アテンションモデルを構築した。 V2X-ViTは異質なマルチエージェント自己アテンションとマルチスケールウィンドウ自己アテンションの交互層から構成される。 我々のアプローチを検証するために、我々は大規模なV2X知覚データセットを作成します。
  論文  参考訳（メタデータ） (2022-03-20T20:18:25Z)
• Full-Duplex Strategy for Video Object Segmentation [141.43983376262815]
  Full- Strategy Network (FSNet)はビデオオブジェクトセグメンテーション(VOS)のための新しいフレームワークである 我々のFSNetは、融合復号ステージの前に、クロスモーダルな機能パス(すなわち、送信と受信)を同時に実行します。 我々のFSNetは、VOSとビデオの有能なオブジェクト検出タスクの両方において、他の最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-06T14:50:50Z)
• End-to-end Contextual Perception and Prediction with Interaction Transformer [79.14001602890417]
  我々は3次元物体の検出と将来の動きを自動運転の文脈で予測する問題に取り組む。 空間的・時間的依存関係を捉えるために,新しいトランスフォーマーアーキテクチャを用いたリカレントニューラルネットワークを提案する。 私たちのモデルはエンドツーエンドでトレーニングでき、リアルタイムで実行されます。
  論文  参考訳（メタデータ） (2020-08-13T14:30:12Z)
• A Spatial-Temporal Attentive Network with Spatial Continuity for Trajectory Prediction [74.00750936752418]
  空間連続性をもつ空間時間減衰ネットワーク(STAN-SC)という新しいモデルを提案する。 まず、最も有用かつ重要な情報を探るために、空間的時間的注意機構を提示する。 第2に、生成軌道の空間的連続性を維持するために、シーケンスと瞬間状態情報に基づく共同特徴系列を実行する。
  論文  参考訳（メタデータ） (2020-03-13T04:35:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。