論文の概要: New Spiking Architecture for Multi-Modal Decision-Making in Autonomous Vehicles
- arxiv url: http://arxiv.org/abs/2512.01882v1
- Date: Mon, 01 Dec 2025 17:04:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.974751
- Title: New Spiking Architecture for Multi-Modal Decision-Making in Autonomous Vehicles
- Title(参考訳): 自動車におけるマルチモーダル意思決定のための新しいスパイクアーキテクチャ
- Authors: Aref Ghoreishee, Abhishek Mishra, Lifeng Zhou, John Walsh, Nagarajan Kandasamy,
- Abstract要約: 本研究は、自動運転車における高レベル意思決定のためのエンドツーエンドのマルチモーダル強化学習フレームワークを提案する。
このフレームワークは、カメラ画像、LiDAR点雲、車両案内情報を含む異種感覚入力を、クロスアテンショントランスフォーマーベースの知覚モジュールを介して統合する。
- 参考スコア(独自算出の注目度): 11.558832874246646
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work proposes an end-to-end multi-modal reinforcement learning framework for high-level decision-making in autonomous vehicles. The framework integrates heterogeneous sensory input, including camera images, LiDAR point clouds, and vehicle heading information, through a cross-attention transformer-based perception module. Although transformers have become the backbone of modern multi-modal architectures, their high computational cost limits their deployment in resource-constrained edge environments. To overcome this challenge, we propose a spiking temporal-aware transformer-like architecture that uses ternary spiking neurons for computationally efficient multi-modal fusion. Comprehensive evaluations across multiple tasks in the Highway Environment demonstrate the effectiveness and efficiency of the proposed approach for real-time autonomous decision-making.
- Abstract(参考訳): 本研究は、自動運転車における高レベル意思決定のためのエンドツーエンドのマルチモーダル強化学習フレームワークを提案する。
このフレームワークは、カメラ画像、LiDAR点雲、車両案内情報を含む異種感覚入力を、クロスアテンショントランスフォーマーベースの知覚モジュールを介して統合する。
トランスフォーマーは現代のマルチモーダルアーキテクチャのバックボーンとなっているが、その高い計算コストはリソース制約されたエッジ環境への展開を制限する。
この課題を克服するために,3次スパイキングニューロンを計算効率の良いマルチモーダル核融合に用いるスパイキング時間対応トランスフォーマー様アーキテクチャを提案する。
ハイウェイ環境における複数のタスクに対する総合的な評価は、リアルタイムな自律的意思決定における提案手法の有効性と効率性を示す。
関連論文リスト
- Scaling Up Occupancy-centric Driving Scene Generation: Dataset and Method [54.461213497603154]
作業中心の手法は、最近、フレームとモダリティをまたいだ一貫した条件付けを提供することで、最先端の結果を得た。
Nuplan-Occは、広く使われているNuplanベンチマークから構築された、これまでで最大の占有率データセットである。
高品質な占有、多視点ビデオ、LiDAR点雲を共同で合成する統合フレームワークを開発した。
論文 参考訳(メタデータ) (2025-10-27T03:52:45Z) - Discrete Diffusion for Reflective Vision-Language-Action Models in Autonomous Driving [55.13109926181247]
離散拡散による安全な軌道生成のためのリフレクション機構を統合した学習ベースのフレームワークであるReflectDriveを紹介する。
我々のアプローチの中心は、勾配のない反復的な自己補正を行う、安全を意識した反射機構である。
本手法は目標条件付き軌道生成から始まり,マルチモーダル運転動作をモデル化する。
論文 参考訳(メタデータ) (2025-09-24T13:35:15Z) - ImagiDrive: A Unified Imagination-and-Planning Framework for Autonomous Driving [64.12414815634847]
ビジョン・ランゲージ・モデル(VLM)とドライビング・ワールド・モデル(DWM)は、この課題のさまざまな側面に対処する強力なレシピとして独立して登場した。
我々は、VLMベースの運転エージェントとDWMベースのシーン想像装置を統合した、新しいエンドツーエンドの自動運転フレームワークであるImagiDriveを提案する。
論文 参考訳(メタデータ) (2025-08-15T12:06:55Z) - A CLIP-based Uncertainty Modal Modeling (UMM) Framework for Pedestrian Re-Identification in Autonomous Driving [6.223368492604449]
Uncertainty Modal Modeling (UMM) フレームワークは、マルチモーダルトークンマッパー、合成モダリティ強化戦略、およびクロスモーダルキュー対話型学習器を統合している。
UMMは、不確実なモード条件下で強い堅牢性、一般化、および計算効率を達成する。
論文 参考訳(メタデータ) (2025-08-15T04:50:27Z) - Aerial Reliable Collaborative Communications for Terrestrial Mobile Users via Evolutionary Multi-Objective Deep Reinforcement Learning [59.660724802286865]
無人航空機(UAV)は、地上通信を改善するための航空基地局(BS)として登場した。
この作業では、UAV対応仮想アンテナアレイによる協調ビームフォーミングを使用して、UAVから地上モバイルユーザへの伝送性能を向上させる。
論文 参考訳(メタデータ) (2025-02-09T09:15:47Z) - A Coalition Game for On-demand Multi-modal 3D Automated Delivery System [4.378407481656902]
都市環境におけるラストマイル配送に対処するため、2つのオーバーレイネットワークで運用するUAVとADRの連合ゲームを導入する。
戦略的協調が全体のルーティング効率をいかに向上させるかを把握するためのモード間の協調構造について検討する。
ミシサガ市におけるケーススタディの結果から,ラストマイル配送の応用に関するいくつかの数値実験が実施されている。
論文 参考訳(メタデータ) (2024-12-23T03:50:29Z) - Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving [3.770103075126785]
本稿では,グラフに基づく状態表現の開発に焦点をあてた,マルチモーダルセンサ融合に対する新しいアプローチを提案する。
本稿では,マルチモーダルグラフを融合する最初のオンライン状態推定手法であるSensor-Agnostic Graph-Aware Kalman Filterを提案する。
提案手法の有効性を,合成および実世界の運転データセットを用いた広範囲な実験により検証した。
論文 参考訳(メタデータ) (2024-11-06T06:58:17Z) - Parameterized Decision-making with Multi-modal Perception for Autonomous
Driving [12.21578713219778]
AUTOと呼ばれる深層強化学習に基づくマルチモーダル認識を用いたパラメータ化意思決定フレームワークを提案する。
ハイブリッド報酬関数は、安全、交通効率、乗客の快適性、および最適な行動を生成するためのフレームワークを導く影響を考慮に入れている。
論文 参考訳(メタデータ) (2023-12-19T08:27:02Z) - Drive Anywhere: Generalizable End-to-end Autonomous Driving with
Multi-modal Foundation Models [114.69732301904419]
本稿では、画像とテキストで検索可能な表現から、運転決定を提供することができる、エンドツーエンドのオープンセット(環境/シーン)自律運転を適用するアプローチを提案する。
当社のアプローチでは, 多様なテストにおいて非並列的な結果を示すと同時に, アウト・オブ・ディストリビューションの状況において, はるかに高いロバスト性を実現している。
論文 参考訳(メタデータ) (2023-10-26T17:56:35Z) - Eco-Driving Control of Connected and Automated Vehicles using Neural
Network based Rollout [0.0]
接続された自動運転車は、エネルギー消費を最小化する可能性がある。
既存の決定論的手法は、一般に高い計算とメモリ要求に悩まされる。
本研究ではニューラルネットワークを介して実装された階層型マルチ水平最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-16T23:13:51Z) - Video Frame Interpolation Transformer [86.20646863821908]
本稿では,トランスフォーマーをベースとした動画フレームワークを提案し,コンテンツ認識集約の重み付けと,自己注意操作による長距離依存を考慮した。
グローバルな自己注意の計算コストが高くなるのを避けるため、ビデオに局所的注意の概念を導入する。
さらに,トランスフォーマーの可能性を完全に実現するためのマルチスケール・フレーム・スキームを開発した。
論文 参考訳(メタデータ) (2021-11-27T05:35:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。