論文の概要: EventDrive: Event Cameras for Vision-Language Driving Intelligence
- arxiv url: http://arxiv.org/abs/2606.18242v1
- Date: Tue, 16 Jun 2026 17:58:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.596892
- Title: EventDrive: Event Cameras for Vision-Language Driving Intelligence
- Title（参考訳）: EventDrive: ビジョンランゲージ駆動インテリジェンスのためのイベントカメラ
- Authors: Dongyue Lu, Rong Li, Ao Liang, Lingdong Kong, Wei Yin, Lai Xing Ng, Benoit R. Cottereau, Camille Simon Chane, Wei Tsang Ooi,
- Abstract要約: イベントカメラは、マイクロ秒のレイテンシと高いダイナミックレンジで非同期の明るさ変化によって世界を感知する。
EventDriveは大規模ベンチマークとモデルスイートで、イベントストリーム、RGBフレーム、言語管理を4つのコアディメンジョンで統合します。
- 参考スコア（独自算出の注目度）: 26.116057266600794
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Event cameras sense the world through asynchronous brightness changes with microsecond latency and high dynamic range, offering motion fidelity far beyond frame-based sensors and capturing temporal structure that conventional exposures often miss. These properties make events a powerful complement to RGB in autonomous driving, especially under blur, glare, and rapid motion, where frame-based perception can become unreliable. However, existing event-aware vision-language models remain limited to generic perception and do not reveal how event sensing contributes to reasoning and decision-making across the full driving loop. We present EventDrive, a large-scale benchmark and model suite that unifies event streams, RGB frames, and language supervision across four core dimensions: Perception, Understanding, Prediction, and Planning, covering captions, structured QA, grounding, motion-state recognition, trajectory forecasting, and planning tasks. Building on this foundation, EventDrive-VLM introduces a multi-horizon event pyramid and a temporal-horizon mixture-of-experts module to adaptively encode and fuse asynchronous and frame-based information for downstream reasoning. Comprehensive evaluation across diverse tasks shows that event streams provide substantial gains in temporal precision, motion awareness, and robustness, bringing event sensing into the center of driving intelligence.
- Abstract（参考訳）: イベントカメラは、マイクロ秒のレイテンシと高いダイナミックレンジによる非同期の明るさ変化を通じて世界を感知する。
これらの特性は、特にフレームベースの知覚が信頼できないような、ぼやけ、光沢、急激な動きの下で、イベントを自律運転におけるRGBの強力な補完となる。
しかしながら、既存のイベント認識型視覚言語モデルは、一般的な認識に限られており、イベントセンシングが完全な駆動ループ全体にわたる推論と意思決定にどのように貢献するかを明らかにしていない。
EventDriveは、イベントストリーム、RGBフレーム、言語監視を4つのコアディメンションにわたって統合する大規模なベンチマークおよびモデルスイートである。
この基盤を基盤として、EventDrive-VLMでは、マルチ水平イベントピラミッドと、ストリーム推論のために非同期およびフレームベースの情報を適応的にエンコードし、フューズする、時間-水平混合モジュールが導入されている。
様々なタスクにわたる総合的な評価は、イベントストリームが時間的精度、動きの認識、堅牢性において大きな利益をもたらし、イベントセンシングが運転インテリジェンスの中心となることを示している。
関連論文リスト
- EventGait: Towards Robust Gait Recognition with Event Streams [50.890621860023]
イベントカメラは、マイクロ秒時間分解能と高ダイナミックレンジを提供し、自然にロバストなダイナミックキューをキャプチャし、静的ノイズを抑制する。
イベントの利点を保ちながら、動きと形状を別々にモデル化する、エンドツーエンドのデュアルストリームフレームワークである textbfEventGait を提案する。
当社のアプローチでは,イベント駆動歩行分析の堅牢性と可能性を強調し,合成および実世界の歩行ベンチマークに新たな技術状況が設定されている。
論文 参考訳（メタデータ） (2026-05-21T08:12:04Z) - Event-based SLAM Benchmark for High-Speed Maneuvers [68.148886127117]
イベントベースのカメラはバイオインスパイアされたセンサーで、独立して、マイクロ秒の解像度で明るさの変化に非同期に反応する。
既存のイベントベースのアプローチは、高速操作による動きのぼかしを緩和することに成功したが、多くの制限に悩まされた。
イベントベースの状態推定のためのベンチマークフレームワークであるEvSLAMを導入する。
論文 参考訳（メタデータ） (2026-04-27T04:36:41Z) - Energy-Aware Imitation Learning for Steering Prediction Using Events and Frames [39.06716892671148]
自動運転では、フレームベースのカメラのみに依存すると不正確になる可能性がある。
イベントカメラとして知られるバイオインスパイアされた視覚センサを導入する。
ステアリング予測のためのエネルギーを考慮した模倣学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-30T03:58:47Z) - Generative Event Pretraining with Foundation Model Alignment [25.86429472344715]
イベントカメラは、高速な動きと難解な照明条件下で、堅牢な視覚信号を提供する。
ユニークなセンシング特性とラベル付きデータの制限により、イベントベースのビジュアルファンデーションモデルのトレーニングが困難になる。
GEP(Generative Event Pretraining)は,インターネット規模の画像データセットから学習したセマンティック知識をイベントデータに転送する2段階のフレームワークである。
論文 参考訳（メタデータ） (2026-03-24T10:10:34Z) - EventSTU: Event-Guided Efficient Spatio-Temporal Understanding for Video Large Language Models [56.16721798968254]
本研究では,EventSTUという,効率的な理解のためのイベント誘導学習自由フレームワークを提案する。
時間領域において、不要な大フレームを除去するために、イベントカメラのトリガー特性を変化させる粗大なサンプリングアルゴリズムを設計する。
空間領域では,イベントの正当性をゼロコストとして活用し,空間的縮小を誘導する適応的トークンプルーニングアルゴリズムを実現する。
論文 参考訳（メタデータ） (2025-11-24T09:30:02Z) - CRASH: Crash Recognition and Anticipation System Harnessing with Context-Aware and Temporal Focus Attentions [13.981748780317329]
カメラ映像から周囲の交通機関の事故を正確にかつ迅速に予測することは、自動運転車(AV)の安全性に不可欠である
本研究は, CRASH と呼ばれる, AV の新たな事故予測フレームワークを提案する。
オブジェクト検出、特徴抽出、オブジェクト認識モジュール、コンテキスト認識モジュール、多層融合の5つのコンポーネントをシームレスに統合する。
私たちのモデルは、平均精度(AP)や平均到達時間(mTTA)といった重要な評価指標において、既存のトップベースラインを超えています。
論文 参考訳（メタデータ） (2024-07-25T04:12:49Z) - Self-supervised Event-based Monocular Depth Estimation using Cross-modal
Consistency [18.288912105820167]
EMoDepth という自己教師型イベントベース単眼深度推定フレームワークを提案する。
EMoDepthは、ピクセル座標内のイベントに整合した強度フレームからのクロスモーダル一貫性を使用して、トレーニングプロセスを制約する。
推論では、単分子深度予測にはイベントのみを使用する。
論文 参考訳（メタデータ） (2024-01-14T07:16:52Z) - Implicit Event-RGBD Neural SLAM [54.74363487009845]
神経性SLAMは近年顕著な進歩を遂げている。
既存の手法は、非理想的なシナリオにおいて重大な課題に直面します。
本稿では,最初のイベントRGBD暗黙的ニューラルSLAMフレームワークであるEN-SLAMを提案する。
論文 参考訳（メタデータ） (2023-11-18T08:48:58Z) - Exploring Event-based Human Pose Estimation with 3D Event Representations [26.34100847541989]
我々は、Rasterized Event Point Cloud(Ras EPC)とDecoupled Event Voxel(DEV)の2つの3Dイベント表現を紹介した。
Ras EPCは、簡潔な時間スライス内のイベントを同じ位置で集約し、それらの3D属性を統計情報と共に保存し、メモリと計算要求を大幅に削減する。
提案手法は,DHP19公開データセット,MMHPSDデータセット,EV-3DPWデータセットで検証し,誘導駆動シーンデータセットEV-JAADと屋外収集車両によるさらなる定性検証を行った。
論文 参考訳（メタデータ） (2023-11-08T10:45:09Z) - SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。
SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
論文 参考訳（メタデータ） (2023-09-29T05:13:43Z) - Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。
イベントベースビジュアル・オドメトリー(VO)に焦点をあてる
動作最適化のバックエンドとして非同期構造を提案する。
論文 参考訳（メタデータ） (2022-03-02T11:28:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。