論文の概要: ForeSight: Multi-View Streaming Joint Object Detection and Trajectory Forecasting
- arxiv url: http://arxiv.org/abs/2508.07089v1
- Date: Sat, 09 Aug 2025 20:18:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.694164
- Title: ForeSight: Multi-View Streaming Joint Object Detection and Trajectory Forecasting
- Title(参考訳): ForeSight:マルチビューストリーミングジョイントオブジェクト検出とトラジェクトリ予測
- Authors: Sandro Papais, Letian Wang, Brian Cheong, Steven L. Waslander,
- Abstract要約: ForeSightは、自動運転車における視覚に基づく3D知覚のための、新しい共同検出および予測フレームワークである。
ForeSightは最先端のパフォーマンスを達成し、EPAの54.9%を達成し、従来の手法を9.3%上回る結果となった。
- 参考スコア(独自算出の注目度): 7.401111319849394
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce ForeSight, a novel joint detection and forecasting framework for vision-based 3D perception in autonomous vehicles. Traditional approaches treat detection and forecasting as separate sequential tasks, limiting their ability to leverage temporal cues. ForeSight addresses this limitation with a multi-task streaming and bidirectional learning approach, allowing detection and forecasting to share query memory and propagate information seamlessly. The forecast-aware detection transformer enhances spatial reasoning by integrating trajectory predictions from a multiple hypothesis forecast memory queue, while the streaming forecast transformer improves temporal consistency using past forecasts and refined detections. Unlike tracking-based methods, ForeSight eliminates the need for explicit object association, reducing error propagation with a tracking-free model that efficiently scales across multi-frame sequences. Experiments on the nuScenes dataset show that ForeSight achieves state-of-the-art performance, achieving an EPA of 54.9%, surpassing previous methods by 9.3%, while also attaining the best mAP and minADE among multi-view detection and forecasting models.
- Abstract(参考訳): 我々は、自動運転車における視覚に基づく3D知覚のための新しい共同検出および予測フレームワークであるForeSightを紹介した。
従来のアプローチでは、検出と予測を別々のシーケンシャルなタスクとして扱い、時間的手がかりを活用する能力を制限する。
ForeSightはこの制限にマルチタスクのストリーミングと双方向の学習アプローチで対処し、検出と予測がクエリメモリを共有し、情報をシームレスに伝達することを可能にする。
予測認識検出変換器は、複数の予測予測メモリキューからの軌道予測を統合することにより空間推論を強化し、ストリーミング予測変換器は過去の予測と洗練された検出を用いて時間的一貫性を向上させる。
トラッキングベースの方法とは異なり、ForeSightは明示的なオブジェクトアソシエーションの必要性を排除し、マルチフレームシーケンスを効率的にスケールするトラッキングフリーモデルによるエラー伝搬を減らす。
nuScenesデータセットの実験によると、ForeSightは最先端のパフォーマンスを達成し、EPAの54.9%を達成し、以前の手法を9.3%上回った。
関連論文リスト
- RealTraj: Towards Real-World Pedestrian Trajectory Forecasting [10.332817296500533]
本稿では,軌道予測の現実的適用性を高める新しいフレームワークであるRealTrajを提案する。
Det2TrajFormerは、過去の検出を入力として使用することで、ノイズの追跡に不変なモデルである。
従来のトラジェクトリ予測手法とは異なり,本手法は地平線検出のみを用いてモデルを微調整し,コストのかかる人体IDアノテーションの必要性を低減させる。
論文 参考訳(メタデータ) (2024-11-26T12:35:26Z) - StreamMOTP: Streaming and Unified Framework for Joint 3D Multi-Object Tracking and Trajectory Prediction [22.29257945966914]
我々は3次元多目的追跡・軌道予測(StreamMOTP)のためのストリーミング統合フレームワークを提案する。
ストリーミング方式でモデルを構築し、メモリバンクを利用して、追跡対象の長期潜伏機能をより効果的に保存し、活用する。
また,予測トラジェクタの品質と一貫性を2ストリーム予測器で改善する。
論文 参考訳(メタデータ) (2024-06-28T11:35:35Z) - A Multi-Stage Goal-Driven Network for Pedestrian Trajectory Prediction [6.137256382926171]
本稿では,多段階目標駆動ネットワーク(MGNet)と呼ばれる,歩行者軌道予測の新しい手法を提案する。
ネットワークは、条件付き変分オートエンコーダ(CVAE)、アテンションモジュール、多段階ゴール評価器の3つの主要コンポーネントから構成される。
MGNetの有効性は、JAADおよびPIEデータセットに関する総合的な実験を通して示される。
論文 参考訳(メタデータ) (2024-06-26T03:59:21Z) - Streaming Motion Forecasting for Autonomous Driving [71.7468645504988]
ストリーミングデータにおける将来の軌跡を問うベンチマークを導入し,これを「ストリーミング予測」と呼ぶ。
我々のベンチマークは本質的に、スナップショットベースのベンチマークでは見過ごされていない安全上の問題であるエージェントの消失と再出現を捉えている。
我々は,任意のスナップショットベースの予測器をストリーミング予測器に適応させることのできる,"Predictive Streamer"と呼ばれるプラグアンドプレイメタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-02T17:13:16Z) - Improving Trajectory Prediction in Dynamic Multi-Agent Environment by
Dropping Waypoints [9.385936248154987]
動作予測システムは、エージェントの将来の軌跡を予測するために、過去から空間的および時間的情報を学習する必要がある。
本稿では,軌道予測モデルのトレーニング中に時間的依存関係を明示的に組み込んだTWDを提案する。
NBA Sports VU, ETH-UCY, TrajNet++の3つのデータセットに対する提案手法の評価を行った。
論文 参考訳(メタデータ) (2023-09-29T15:48:35Z) - Towards Motion Forecasting with Real-World Perception Inputs: Are
End-to-End Approaches Competitive? [93.10694819127608]
実世界の知覚入力を用いた予測手法の統一評価パイプラインを提案する。
我々の詳細な調査では、キュレートされたデータから知覚ベースのデータへ移行する際の大きなパフォーマンスギャップが明らかになりました。
論文 参考訳(メタデータ) (2023-06-15T17:03:14Z) - Uncovering the Missing Pattern: Unified Framework Towards Trajectory
Imputation and Prediction [60.60223171143206]
軌道予測は、観測されたシーケンスから実体運動や人間の行動を理解する上で重要な作業である。
現在の方法では、観測されたシーケンスが完了したと仮定し、欠落した値の可能性を無視する。
本稿では,グラフに基づく条件変動リカレントニューラルネットワーク (GC-VRNN) の統一フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-28T14:27:27Z) - SMART: Simultaneous Multi-Agent Recurrent Trajectory Prediction [72.37440317774556]
本稿では,将来の軌道予測における2つの重要な課題に対処する手法を提案する。
エージェントの数に関係なく、トレーニングデータと予測と一定時間の推測の両方において、マルチモーダリティ。
論文 参考訳(メタデータ) (2020-07-26T08:17:10Z) - Inverting the Pose Forecasting Pipeline with SPF2: Sequential Pointcloud
Forecasting for Sequential Pose Forecasting [106.3504366501894]
自動運転車やロボット操作システムは、オブジェクトを最初に検出して追跡することによって、将来のオブジェクトのポーズを予測することが多い。
ポーズ予測アルゴリズムは通常、オブジェクトのポーズのラベル付きシーケンスを必要とするため、このパイプラインはスケールするのに費用がかかる。
本稿では,まず3次元センサデータを予測し,予測点雲列上の物体を検知・追跡し,将来的なポーズを求めることを提案する。
これにより、センサーデータ予測タスクにラベルが不要であるため、予測のスケールが難しくなる。
論文 参考訳(メタデータ) (2020-03-18T17:54:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。