論文の概要: StreamingFlow: Streaming Occupancy Forecasting with Asynchronous Multi-modal Data Streams via Neural Ordinary Differential Equation

• arxiv url: http://arxiv.org/abs/2302.09585v2
• Date: Tue, 11 Jun 2024 07:42:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 01:37:54.360010
• Title: StreamingFlow: Streaming Occupancy Forecasting with Asynchronous Multi-modal Data Streams via Neural Ordinary Differential Equation
• Title（参考訳）: StreamingFlow: ニューラル正規微分方程式による非同期マルチモーダルデータストリームによる実行予測
• Authors: Yining Shi, Kun Jiang, Ke Wang, Jiusi Li, Yunlong Wang, Mengmeng Yang, Diange Yang,
• Abstract要約: StreamingFlowは、非同期マルチセンサーデータストリームを融合するために取り込む、新しいBEV占有予測器である。 時間的地平線上でのBEV特徴の微分を学習し、融合プロセスの一部として暗黙センサのBEV特徴を更新し、BEV状態を望ましい将来時点に伝播する。 従来のビジョンベース、LiDARベースの手法よりも優れており、最先端の融合方式よりも優れた性能を示している。
• 参考スコア（独自算出の注目度）: 15.441175735210791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predicting the future occupancy states of the surrounding environment is a vital task for autonomous driving. However, current best-performing single-modality methods or multi-modality fusion perception methods are only able to predict uniform snapshots of future occupancy states and require strictly synchronized sensory data for sensor fusion. We propose a novel framework, StreamingFlow, to lift these strong limitations. StreamingFlow is a novel BEV occupancy predictor that ingests asynchronous multi-sensor data streams for fusion and performs streaming forecasting of the future occupancy map at any future timestamps. By integrating neural ordinary differential equations (N-ODE) into recurrent neural networks, StreamingFlow learns derivatives of BEV features over temporal horizons, updates the implicit sensor's BEV features as part of the fusion process, and propagates BEV states to the desired future time point. It shows good zero-shot generalization ability of prediction, reflected in the interpolation of the observed prediction time horizon and the reasonable inference of the unseen farther future period. Extensive experiments on two large-scale datasets, nuScenes and Lyft L5, demonstrate that StreamingFlow significantly outperforms previous vision-based, LiDAR-based methods, and shows superior performance compared to state-of-the-art fusion-based methods.
• Abstract（参考訳）: 周囲環境の将来の占有状態を予測することは、自動運転にとって重要な課題である。 しかし、現在の最高の単一モダリティ法や多モード融合認識法は、将来の占有状態の均一なスナップショットしか予測できず、センサ融合のために厳密に同期された感覚データを必要とする。 本稿では,これらの制約を緩和する新しいフレームワーク,StreamingFlowを提案する。 StreamingFlowは、非同期なマルチセンサーデータストリームを融合させ、将来のタイムスタンプで将来の占有マップのストリーミング予測を実行する、新しいBEV占有予測器である。 ニューラル常微分方程式(N-ODE)をリカレントニューラルネットワークに統合することにより、StreamingFlowは時相水平線上のBEV特徴の微分を学習し、融合プロセスの一部として暗黙センサのBEV特徴を更新し、BEV状態を望ましい将来時点に伝播させる。 予測のゼロショット一般化能力は良好で、観測された予測時間地平線の補間や、観測されていない将来の期間の合理的な推測に反映される。 nuScenesとLyft L5という2つの大規模なデータセットに対する大規模な実験は、StreamingFlowが従来のビジョンベースのLiDARベースのメソッドよりも大幅に優れており、最先端のフュージョンベースのメソッドよりも優れたパフォーマンスを示していることを示している。

関連論文リスト

• Physics-guided Active Sample Reweighting for Urban Flow Prediction [75.24539704456791]
  都市フロー予測は、バス、タクシー、ライド駆動モデルといった交通サービスのスループットを見積もる、微妙な時間的モデリングである。 最近の予測解は、物理学誘導機械学習(PGML)の概念による改善をもたらす。 我々は、PN(atized Physics-guided Network)を開発し、P-GASR(Physical-guided Active Sample Reweighting)を提案する。
  論文  参考訳（メタデータ） (2024-07-18T15:44:23Z)
• MemFlow: Optical Flow Estimation and Prediction with Memory [54.22820729477756]
  本稿では,メモリを用いた光フロー推定と予測をリアルタイムに行うMemFlowを提案する。 本手法では,メモリの読み出しと更新を行うモジュールをリアルタイムに収集する。 われわれのアプローチは、過去の観測に基づいて、将来の光流の予測にシームレスに拡張する。
  論文  参考訳（メタデータ） (2024-04-07T04:56:58Z)
• Adapting to Length Shift: FlexiLength Network for Trajectory Prediction [53.637837706712794]
  軌道予測は、自律運転、ロボット工学、シーン理解など、様々な応用において重要な役割を果たしている。 既存のアプローチは主に、一般に標準入力時間を用いて、公開データセットの予測精度を高めるために、コンパクトなニューラルネットワークの開発に重点を置いている。 本稿では,様々な観測期間に対する既存の軌道予測の堅牢性を高めるための,汎用的で効果的なフレームワークFlexiLength Network(FLN)を紹介する。
  論文  参考訳（メタデータ） (2024-03-31T17:18:57Z)
• GDTS: Goal-Guided Diffusion Model with Tree Sampling for Multi-Modal Pedestrian Trajectory Prediction [15.731398013255179]
  マルチモーダル軌道予測のための木サンプリングを用いたゴールガイド拡散モデルを提案する。 2段階のツリーサンプリングアルゴリズムが提案され、一般的な特徴を活用して推論時間を短縮し、マルチモーダル予測の精度を向上させる。 実験により,提案フレームワークは,公開データセットにおけるリアルタイム推論速度と同等の最先端性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2023-11-25T03:55:06Z)
• Streaming Factor Trajectory Learning for Temporal Tensor Decomposition [33.18423605559094]
  時相テンソル分解のためのストリーム係数軌道学習を提案する。 我々はガウス過程(GP)を用いて因子の軌道をモデル化し、その時間的進化を柔軟に推定する。 合成タスクと実世界のアプリケーションの両方において、SFTLの利点を示してきた。
  論文  参考訳（メタデータ） (2023-10-25T21:58:52Z)
• Streaming Motion Forecasting for Autonomous Driving [71.7468645504988]
  ストリーミングデータにおける将来の軌跡を問うベンチマークを導入し,これを「ストリーミング予測」と呼ぶ。 我々のベンチマークは本質的に、スナップショットベースのベンチマークでは見過ごされていない安全上の問題であるエージェントの消失と再出現を捉えている。 我々は,任意のスナップショットベースの予測器をストリーミング予測器に適応させることのできる,"Predictive Streamer"と呼ばれるプラグアンドプレイメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-02T17:13:16Z)
• A Novel Deep Neural Network for Trajectory Prediction in Automated Vehicles Using Velocity Vector Field [12.067838086415833]
  本稿では,データ駆動学習に基づく手法と,自然に着想を得た概念から生成された速度ベクトル場(VVF)を組み合わせた軌道予測手法を提案する。 精度は、正確な軌道予測のための過去の観測の長い歴史の要求を緩和する観測窓の減少と一致している。
  論文  参考訳（メタデータ） (2023-09-19T22:14:52Z)
• Generative Time Series Forecasting with Diffusion, Denoise, and Disentanglement [51.55157852647306]
  時系列予測は多くのアプリケーションにおいて非常に重要な課題である。 実世界の時系列データが短時間に記録されることが一般的であり、これはディープモデルと限られたノイズのある時系列との間に大きなギャップをもたらす。 本稿では,生成モデルを用いた時系列予測問題に対処し,拡散,雑音,ゆがみを備えた双方向変分自動エンコーダを提案する。
  論文  参考訳（メタデータ） (2023-01-08T12:20:46Z)
• Real-time Object Detection for Streaming Perception [84.2559631820007]
  ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。 ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。 提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
  論文  参考訳（メタデータ） (2022-03-23T11:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。