論文の概要: PedFormer: Pedestrian Behavior Prediction via Cross-Modal Attention
Modulation and Gated Multitask Learning
- arxiv url: http://arxiv.org/abs/2210.07886v1
- Date: Fri, 14 Oct 2022 15:12:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 17:55:17.180379
- Title: PedFormer: Pedestrian Behavior Prediction via Cross-Modal Attention
Modulation and Gated Multitask Learning
- Title（参考訳）: PedFormer:クロスモーダルアテンション変調とゲーテッドマルチタスク学習による歩行者行動予測
- Authors: Amir Rasouli, Iuliia Kotseruba
- Abstract要約: 本研究では,エゴ中心の視点から,歩行者の将来の軌跡や横断行動を予測するために,異なるデータモダリティに依存する新しい枠組みを提案する。
本モデルでは, トラジェクトリとアクション予測の精度を, それぞれ22%, 13%向上した。
- 参考スコア（独自算出の注目度）: 10.812772606528172
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predicting pedestrian behavior is a crucial task for intelligent driving
systems. Accurate predictions require a deep understanding of various
contextual elements that potentially impact the way pedestrians behave. To
address this challenge, we propose a novel framework that relies on different
data modalities to predict future trajectories and crossing actions of
pedestrians from an ego-centric perspective. Specifically, our model utilizes a
cross-modal Transformer architecture to capture dependencies between different
data types. The output of the Transformer is augmented with representations of
interactions between pedestrians and other traffic agents conditioned on the
pedestrian and ego-vehicle dynamics that are generated via a semantic attentive
interaction module. Lastly, the context encodings are fed into a multi-stream
decoder framework using a gated-shared network. We evaluate our algorithm on
public pedestrian behavior benchmarks, PIE and JAAD, and show that our model
improves state-of-the-art in trajectory and action prediction by up to 22% and
13% respectively on various metrics. The advantages brought by components of
our model are investigated via extensive ablation studies.
- Abstract（参考訳）: 知的運転システムにとって歩行者行動の予測は重要な課題である。
正確な予測は、歩行者の行動に影響を及ぼす可能性のある様々な文脈要素を深く理解する必要がある。
この課題に対処するために, 歩行者の歩容や横断行動を予測するために, エゴ中心の観点から異なるデータモダリティに依存する新しい枠組みを提案する。
具体的には、クロスモーダルトランスフォーマーアーキテクチャを用いて、異なるデータ型間の依存関係をキャプチャする。
トランスの出力は、歩行者と歩行者に条件づけられた他の交通エージェントとの相互作用の表現と、意味的注意的相互作用モジュールを介して生成される自走車ダイナミクスとで強化される。
最後に、コンテキストエンコーディングは、ゲート共有ネットワークを使用してマルチストリームデコーダフレームワークに入力される。
提案手法は公共歩行者行動ベンチマーク,PIE,JAADで評価し,様々な指標を用いて,軌跡および行動予測の精度を最大22%,13%向上させることを示した。
本モデルの成分による利点は,広範囲なアブレーション研究によって検討されている。
関連論文リスト
- Multi-Transmotion: Pre-trained Model for Human Motion Prediction [68.87010221355223]
マルチトランスモーション(Multi-Transmotion)は、モダリティ事前トレーニング用に設計された革新的なトランスフォーマーベースのモデルである。
提案手法は,下流タスクにおける各種データセット間の競合性能を示す。
論文 参考訳（メタデータ） (2024-11-04T23:15:21Z) - Knowledge-aware Graph Transformer for Pedestrian Trajectory Prediction [15.454206825258169]
歩行者運動軌跡の予測は、自動運転車の経路計画と移動制御に不可欠である。
近年の深層学習に基づく予測手法は、主に軌跡履歴や歩行者間の相互作用などの情報を利用する。
本稿では,予測性能を向上させるためのグラフトランス構造を提案する。
論文 参考訳（メタデータ） (2024-01-10T01:50:29Z) - Trajeglish: Traffic Modeling as Next-Token Prediction [67.28197954427638]
自動運転開発における長年の課題は、記録された運転ログからシードされた動的運転シナリオをシミュレートすることだ。
車両、歩行者、サイクリストが運転シナリオでどのように相互作用するかをモデル化するために、離散シーケンスモデリングのツールを適用します。
我々のモデルはSim Agents Benchmarkを上回り、リアリズムメタメトリックの先行作業の3.3%、インタラクションメトリックの9.9%を上回ります。
論文 参考訳（メタデータ） (2023-12-07T18:53:27Z) - Interactive Autonomous Navigation with Internal State Inference and
Interactivity Estimation [58.21683603243387]
本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。
これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。
提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-11-27T18:57:42Z) - Pedestrian Stop and Go Forecasting with Hybrid Feature Fusion [87.77727495366702]
歩行者の立ち止まりと予測の新たな課題を紹介します。
都市交通における歩行者の立ち寄り行動を明示的に研究するためのベンチマークであるTransをリリースする。
歩行者の歩行動作に注釈を付けたいくつかの既存のデータセットから構築し、さまざまなシナリオや行動を実現する。
論文 参考訳（メタデータ） (2022-03-04T18:39:31Z) - Pedestrian Trajectory Prediction via Spatial Interaction Transformer
Network [7.150832716115448]
交通現場では、来るべき人々と出会うと、歩行者は突然回転したり、すぐに止まることがある。
このような予測不可能な軌道を予測するために、歩行者間の相互作用についての洞察を得ることができる。
本稿では,歩行者軌跡の相関関係を注意機構を用いて学習する空間的相互作用変換器(SIT)を提案する。
論文 参考訳（メタデータ） (2021-12-13T13:08:04Z) - Pedestrian Behavior Prediction via Multitask Learning and Categorical
Interaction Modeling [13.936894582450734]
マルチモーダルデータに頼って歩行者の軌跡や行動を同時に予測するマルチタスク学習フレームワークを提案する。
本モデルでは, トラジェクティブと動作予測を最大22%, 6%向上させる。
論文 参考訳（メタデータ） (2020-12-06T15:57:11Z) - Multi-Modal Hybrid Architecture for Pedestrian Action Prediction [14.032334569498968]
本研究では,歩行者の横断行動を予測するために,環境から取得したさまざまな情報ソースを組み込んだ新しいマルチモーダル予測アルゴリズムを提案する。
既存の2次元歩行者行動ベンチマークと新たに注釈付けされた3次元運転データセットを用いて,提案モデルが歩行者横断予測における最先端性能を達成することを示す。
論文 参考訳（メタデータ） (2020-11-16T15:17:58Z) - End-to-end Contextual Perception and Prediction with Interaction
Transformer [79.14001602890417]
我々は3次元物体の検出と将来の動きを自動運転の文脈で予測する問題に取り組む。
空間的・時間的依存関係を捉えるために,新しいトランスフォーマーアーキテクチャを用いたリカレントニューラルネットワークを提案する。
私たちのモデルはエンドツーエンドでトレーニングでき、リアルタイムで実行されます。
論文 参考訳（メタデータ） (2020-08-13T14:30:12Z) - Pedestrian Action Anticipation using Contextual Feature Fusion in
Stacked RNNs [19.13270454742958]
交差点における歩行者行動予測問題の解法を提案する。
提案手法では,シーン動的・視覚的特徴の両面から収集した情報を徐々にネットワークに融合する新しいRNNアーキテクチャを用いる。
論文 参考訳（メタデータ） (2020-05-13T20:59:37Z) - VectorNet: Encoding HD Maps and Agent Dynamics from Vectorized
Representation [74.56282712099274]
本稿では,ベクトルで表される個々の道路成分の空間的局所性を利用する階層型グラフニューラルネットワークであるVectorNetを紹介する。
ベクトル化高定義(HD)マップとエージェントトラジェクトリの操作により、ロッキーなレンダリングや計算集約的なConvNetエンコーディングのステップを避けることができる。
我々は、社内行動予測ベンチマークと最近リリースされたArgoverse予測データセットでVectorNetを評価した。
論文 参考訳（メタデータ） (2020-05-08T19:07:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。