論文の概要: Pedestrian Crossing Intent Classification From Event-Based Vision Using Convolutional Spiking Neural Networks With Temporal Augmentation

• arxiv url: http://arxiv.org/abs/2609.13328v1
• Date: Fri, 11 Sep 2026 02:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.227061
• Title: Pedestrian Crossing Intent Classification From Event-Based Vision Using Convolutional Spiking Neural Networks With Temporal Augmentation
• Title（参考訳）: 畳み込みスパイクニューラルネットワークを用いたイベントベース視覚からの歩行者クロスインテント分類
• Abstract要約: 本稿では,実世界の運転映像を合成視覚センサ(DVS)イベントストリームに変換するエンドツーエンドパイプラインを提案する。 また,新しい畳み込みスパイクニューラルネットワーク(Conv-SNN)をクリップ一貫性を持つDVS拡張で訓練し,歩行者横断意図を二分法に分類する。 訓練されたモデルは95.83%の精度で、JAAD DVSテストセットではF1 = 0.9695、通常のCARLA DVSでは97.79%、F1 = 0.9478、CARLA DVSでは94.78%、F1 = 0.8369である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anticipating whether a pedestrian will cross the road is safety-critical for autonomous vehicles, requiring real-time inference under challenging conditions including motion blur, high dynamic range, and class imbalance. Conventional frame-based deep networks process redundant RGB data at fixed frame rates, limiting their temporal resolution and energy efficiency. In this work we present an end-to-end pipeline that (i) converts real-world driving footage from the Joint Attention in Autonomous Driving (JAAD) dataset into synthetic dynamic vision sensor (DVS) event streams using the v2e simulator, (ii) augments training with the CARLA-simulated DVS sequences of the DVS-PedX dataset under both normal and adverse weather conditions, and (iii) trains a novel convolutional spiking neural network (Conv-SNN) with clip-consistent DVS augmentation to classify pedestrian crossing intent as binary: crossing or non-crossing. We detail all architectural decisions, the exact leaky-integrate-and-fire neuron dynamics with surrogate-gradient learning, the class-balanced loss formulation, JAAD oversampling at 6x, and a 70/15/15 stratified splitting protocol. The trained model achieves 95.83% accuracy and F1 = 0.9695 on the JAAD DVS test set, 97.79% accuracy and F1 = 0.9478 on normal CARLA DVS, and 94.78% accuracy and F1 = 0.8369 on adverse-weather CARLA DVS, all from a 1.07M-parameter architecture trained on CPU. Compared to prior frame-based approaches on JAAD, our method closes or surpasses the reported accuracy while operating natively on sparse temporal representations. We include a thorough analysis of the convergence behaviour across all 15 training epochs, domain transfer characteristics, and a quantitative comparison with representative related work.
• Abstract（参考訳）: 歩行者が道路を横断するかどうかを予測することは、自動運転車にとって安全にとって重要であり、動きのぼやけ、高いダイナミックレンジ、クラス不均衡といった困難な条件下でリアルタイムの推論を必要とする。 従来のフレームベースのディープネットワークは、時間分解能とエネルギー効率を制限し、固定フレームレートで冗長なRGBデータを処理している。 この作業では、エンドツーエンドのパイプラインを提示します。 i)v2eシミュレータを用いて、JAADデータセットから現実の運転映像を合成動的視覚センサ(DVS)イベントストリームに変換する。 (II)正常および悪天候条件下でのDVS-PedXデータセットのCARLAシミュレーションDVSシーケンスによる強化訓練、及び (iii)新規な畳み込みニューラルネットワーク(Conv-SNN)をクリップ一貫性のDVS拡張で訓練し、歩行者横断意図を二分法に分類する。 我々は,全てのアーキテクチャ上の決定,Surrogate-gradient Learningによる正確なリーク・インテグレート・アンド・ファイア・ニューロンのダイナミクス,クラスバランス・ロスの定式化,JAADオーバーサンプリングの6倍,階層分割プロトコルの70/15/15について詳述する。 トレーニングされたモデルは95.83%の精度で、JAAD DVSテストセットではF1 = 0.9695、通常のCARLA DVSでは97.79%の精度でF1 = 0.9478、CARLA DVSでは94.78%の精度でF1 = 0.8369、CPUでトレーニングされた1.07MパラメータアーキテクチャではF1 = 0.8369である。 JAADの以前のフレームベースアプローチと比較して、本手法は疎時間表現をネイティブに操作しながら報告された精度を閉鎖または超過する。 15の訓練エポック全てにおける収束挙動の徹底的な解析、ドメイン転送特性、および代表的関連研究との定量的比較を含む。

関連論文リスト

• Event-Based Motion Estimation via Oriented Distance Fields [55.23416502666468]
  イベントベースの動き推定は、高時間分解能と高速動作に対する堅牢性を必要とするタスクの中心である。 本稿では,この最適化を,事前計算された事象距離ベクトルの場上の1つの平均ステップに置き換える,オブジェクト指向距離場運動推定(ODF Motion Estimation)を提案する。 公開および自己収集されたデータセットでは,ODFの動作推定は,比較手法の中で最低レイテンシでサブピクセル精度に達する。
  論文  参考訳（メタデータ） (2026-08-25T08:27:42Z)
• Adaptive Cross-Modal Fusion with Sparse Attention for Pedestrian Crossing Intention Prediction [4.8915598762204135]
  ADAPT(Adaptive Domain-Aware Pedestrian Crossing Transformer)は、歩行者の横断意図を予測するための多モードフレームワークである。 ADAPTは、RGB画像、局所深度マップ、グローバルセマンティックマップ、グローバル深度マップを含む4つの整列された視覚モードを処理する。 JAADとPIEベンチマークデータセットの実験は、ADAPTが既存の最先端メソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-14T03:05:09Z)
• EagleVision: A Multi-Task Benchmark for Cross-Domain Perception in High-Speed Autonomous Racing [9.483261915968617]
  EagleVisionは、高速レースにおける3D検出と軌道予測のためのLiDARベースの統一ベンチマークである。 Indy Autonomous ChallengeデータセットとA2RL Realコンペティションデータセット用に、新たにアノテーション付き3Dバウンディングボックスを提供する。 データセット中心の転送フレームワークを用いて、都市域、シミュレーター、および実際のレース領域にわたるクロスドメインの一般化を定量化する。
  論文  参考訳（メタデータ） (2026-04-13T12:42:18Z)
• Physics-Informed Reinforcement Learning of Spatial Density Velocity Potentials for Map-Free Racing [73.88859384645264]
  Out-Of-Distribution (OOD) の様々なレーストラックへの一般化は、機械学習(ML)を用いて、エンドツーエンド制御のためのセンサデータと車両アクチュエーターの間の数学的関係を符号化する。 本稿では,非幾何学的,物理インフォームド報酬を用いた深度測定のスペクトル分布から非線形車両動特性をパラメータ化して,ニューラルネットワーク(ANN)による車両の時間最適・乗換レース制御を推定するDRL法を提案する。 このポリシーは、経験的なパセジカタイヤモデルに似たタイヤのダイナミックスで摩擦円を最大化することで、OODトラックの12%で人間のデモより優れています。
  論文  参考訳（メタデータ） (2026-04-10T17:12:07Z)
• Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail [85.47497935739936]
  Alpamayo-R1 (AR1) は、因果推論の連鎖と軌道計画を統合する視覚言語モデルである。 また,AR1は,軌道のみのベースラインに比べて,難問の計画精度が12%向上することを示した。 今後のアップデートで、AR1モデルとCoCのサブセットをリリースする予定です。
  論文  参考訳（メタデータ） (2025-10-30T01:25:34Z)
• KEPT: Knowledge-Enhanced Prediction of Trajectories from Consecutive Driving Frames with Vision-Language Models [19.625631486595505]
  本稿では,知識に富んだ視覚言語フレームワークであるKEPTを紹介する。 連続するフロントビュー駆動フレームから直接エゴ軌道を予測する。 オープンループプロトコル間の最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-09-03T03:10:42Z)
• DEEGITS: Deep Learning based Framework for Measuring Heterogenous Traffic State in Challenging Traffic Scenarios [0.0]
  本稿では,DeEGITS(Deep Heterogeneous Traffic State Measurement)を提案する。これは最先端の畳み込みニューラルネットワーク(CNN)技術を利用して,車両や歩行者を正確にかつ迅速に検出する包括的フレームワークである。 本研究では,データ融合によるトレーニングデータセットを強化し,車両と歩行者の同時検出を可能にする。 このフレームワークは混合交通条件における異種交通状態を測定するために試験される。
  論文  参考訳（メタデータ） (2024-11-13T04:49:32Z)
• Real-time Object Detection for Streaming Perception [84.2559631820007]
  ストリーミング知覚は,ビデオオンライン知覚の1つの指標として,レイテンシと精度を共同評価するために提案される。 ストリーミング知覚のためのシンプルで効果的なフレームワークを構築します。 提案手法はArgoverse-HDデータセット上での競合性能を実現し,強力なベースラインに比べてAPを4.9%向上させる。
  論文  参考訳（メタデータ） (2022-03-23T11:33:27Z)
• Real Time Monocular Vehicle Velocity Estimation using Synthetic Data [78.85123603488664]
  移動車に搭載されたカメラから車両の速度を推定する問題を考察する。 そこで本研究では,まずオフ・ザ・シェルフ・トラッカーを用いて車両バウンディングボックスを抽出し,その後,小型ニューラルネットワークを用いて車両速度を回帰する2段階のアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-16T13:10:27Z)
• Is attention to bounding boxes all you need for pedestrian action prediction? [1.3999481573773074]
  本稿では,トランスフォーマーモデルの多変量に基づく枠組みを提案し,歩行者の過去の軌跡の動的進化を注意深く推察する。 我々のモデルに対する入力としてバウンディングボックスのみを使用することで、従来の最先端モデルよりも優れていることを示す。 我々のモデルも同様に、このデータセット上で高い精度 (91 と F1 スコア (0.91) に達した。
  論文  参考訳（メタデータ） (2021-07-16T17:47:32Z)
• Prediction of Traffic Flow via Connected Vehicles [77.11902188162458]
  本稿では,交通機関が交通の流れを早期に制御し,渋滞を防止するための短期交通流予測フレームワークを提案する。 我々は,過去の流れデータと,コネクテッド・ビークル(CV)技術によって提供されるリアルタイムフィードや軌道データといった革新的な特徴に基づいて,将来の道路セグメントにおける流れを予測する。 本手法は, 流れの予測, CVが軌道に沿ったセグメントに現実的に遭遇する様々な事象の影響を組み込むことによって, 高度なモデリングを可能にすることを示す。
  論文  参考訳（メタデータ） (2020-07-10T16:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。