論文の概要: STAR-VLM: Spatiotemporal Grounding Vision-Language Models for Motion and Velocity Estimation via Automotive Radar Supervision
- arxiv url: http://arxiv.org/abs/2608.01535v1
- Date: Sun, 02 Aug 2026 23:02:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.268339
- Title: STAR-VLM: Spatiotemporal Grounding Vision-Language Models for Motion and Velocity Estimation via Automotive Radar Supervision
- Title（参考訳）: STAR-VLM: 自動車レーダによる運動・速度推定のための時空間接地視野モデル
- Abstract要約: 距離認識時間モデル(VLM)を構築するための自動車用レーダー監視フレームワークSTAR-VLMを紹介する。
本稿では,STAR-VLMが動作分類と距離速度推定の両方を実現し,各タスク用に設計されたタスク固有手法よりも優れた性能を示すことを示す。
その結果、自動車レーダーは、リアルタイム自動運転のための計量認識時空VLMを構築するための、スケーラブルで費用対効果の高い監視源として強調された。
- 参考スコア（独自算出の注目度）: 10.369023293947246
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Vision-language models (VLMs) are emerging as a key component of embodied intelligence, with growing applications in auto-labeling and end-to-end autonomous driving. However, existing approaches for improving spatiotemporal reasoning in VLMs often rely on complex preprocessing pipelines, expensive human annotations, or synthetic data, which limit scalability and introduce potential sim-to-real gaps. Moreover, although these methods have improved spatiotemporal understanding, they still lack strong metric reasoning capabilities for dynamic scenes, such as estimating object motion in real-world units. Prior work has explored LiDAR-based metric depth supervision to enhance spatial perception, but it does not directly address temporal reasoning. We introduce STAR-VLM, an automotive radar-supervised framework that enhances spatiotemporal VLMs with motion reasoning and metric velocity estimation for autonomous driving. Automotive radar is a low-cost and widely deployed sensor that provides complementary spatiotemporal supervision through range and Doppler measurements. By leveraging these measurements as label-free ground truth during training, STAR-VLM improves the metric spatiotemporal reasoning ability of VLMs. Through experiments on driving scenarios, we show that STAR-VLM achieves state-of-the-art performance on both motion classification and metric velocity estimation, outperforming even task-specific methods designed for each task. These results highlight automotive radar as a scalable and cost-effective source of supervision for building metric-aware spatiotemporal VLMs for real-world autonomous driving.
- Abstract（参考訳）: 視覚言語モデル(VLM)は、自動ラベル付けとエンドツーエンドの自律運転において、インテリジェンスの重要なコンポーネントとして浮上している。
しかしながら、VLMの時空間推論を改善する既存のアプローチは、しばしば複雑な前処理パイプライン、高価な人的アノテーション、あるいは合成データに依存し、スケーラビリティを制限し、潜在的なsim-to-realギャップを導入する。
さらに、これらの手法は時空間的理解を改善しているが、現実の単位における物体の動きを推定するなど、動的シーンに対する強力な計量推論能力はいまだに欠如している。
従来の研究は空間知覚を高めるためにLiDARに基づくメートル法深度監視を探索してきたが、時間的推論には直接対応していない。
本稿では,自動車用レーダー監視フレームワークSTAR-VLMについて紹介する。
自動車用レーダーは低コストで広く配備されたセンサーであり、範囲とドップラー測定による補間的時空間監視を提供する。
STAR-VLMは、これらの測定をトレーニング中にラベルのない真実として活用することにより、VLMの計量時空間推論能力を向上させる。
運転シナリオに関する実験により,STAR-VLMは動作分類と距離速度推定の両方において,各タスク用に設計されたタスク固有手法よりも優れることを示す。
これらの結果は、リアルタイム自動運転のための計量対応時空間VLMを構築するためのスケーラブルで費用対効果の高い監視源として、自動車レーダーを強調している。
関連論文リスト
- Towards Generalizable Visually Grounded Exploration of Household Devices [74.66117923766632]
汎用的な自律的実施エージェントを実現する上でのボトルネックは、Generalizable Visually Grounded Explorationにある。
VGEBenchは、視覚言語モデルの一般化可能な視野探索能力を評価するために設計されたベンチマークである。
静的なデータセットとは異なり、我々はLogic-Driven State Machineフレームワークを構築している。このフレームワークは多ターンインタラクションループをシミュレートし、アクティブな視覚知覚とフィードバック駆動の修正によって目標を達成するエージェントを説得する。
論文 参考訳（メタデータ） (2026-09-01T07:42:45Z) - DriveVLM-RL: Neuroscience-Inspired Reinforcement Learning with Vision-Language Models for Safe and Deployable Autonomous Driving [7.788062051923755]
DriveVLM-RLは神経科学に触発されたフレームワークで、視覚言語モデルと強化学習を統合する。
このフレームワークは、連続的な空間安全評価のための静的パスに意味報酬学習を分解する。
階層的な報酬合成機構は、セマンティック信号を車両状態と融合させ、非同期トレーニングパイプラインは環境相互作用から高価なVLM推論を分離する。
論文 参考訳（メタデータ） (2026-03-18T21:55:29Z) - AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。
無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。
本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
論文 参考訳（メタデータ） (2026-02-10T11:08:07Z) - SGDrive: Scene-to-Goal Hierarchical World Cognition for Autonomous Driving [52.02379432801349]
本稿では,運転特化知識階層に関するVLMの表現学習を構築する新しいフレームワークであるSGDriveを提案する。
トレーニング済みのVLMバックボーン上に構築されたSGDriveは、人間の運転認知を反映するシーンエージェントゴール階層に、駆動理解を分解する。
論文 参考訳（メタデータ） (2026-01-09T08:55:42Z) - dVLM-AD: Enhance Diffusion Vision-Language-Model for Driving via Controllable Reasoning [69.36145467833498]
本稿では,拡散に基づく視覚言語モデルであるdVLM-ADを導入する。
nuScenes と WOD-E2E で評価すると、dVLM-AD はより一貫性のある推論・アクションのペアとなり、既存の駆動VLM/VLAシステムに匹敵する計画性能を達成する。
論文 参考訳（メタデータ） (2025-12-04T05:05:41Z) - LMAD: Integrated End-to-End Vision-Language Model for Explainable Autonomous Driving [58.535516533697425]
視覚言語モデル(VLM)はシーン理解において有望な能力を示している。
本稿では,自律運転に適した視覚言語フレームワークLMADを提案する。
本フレームワークは,VLMに包括的シーン理解とタスク特化構造を組み込むことにより,最新のエンド・ツー・エンド駆動パラダイムをエミュレートする。
論文 参考訳（メタデータ） (2025-08-17T15:42:54Z) - Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。
本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。
我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
論文 参考訳（メタデータ） (2025-05-09T20:28:17Z) - LightEMMA: Lightweight End-to-End Multimodal Model for Autonomous Driving [13.136505955569875]
VLM(Vision-Language Models)は、エンドツーエンドの自動運転において大きな可能性を実証している。
光EMMA(Lightweight End-to-End Multimodal Model for autonomous driving)を紹介する。
論文 参考訳（メタデータ） (2025-05-01T04:12:41Z) - RAD: Retrieval-Augmented Decision-Making of Meta-Actions with Vision-Language Models in Autonomous Driving [10.984203470464687]
視覚言語モデル(VLM)は、空間認識の不十分さや幻覚といった限界に悩まされることが多い。
本稿では,自律走行シーンにおけるメタアクションを確実に生成するVLMの能力を高めるための,検索強化意思決定(RAD)フレームワークを提案する。
我々は,NuScenesデータセットから得られたデータセットに基づいてVLMを微調整し,その空間的知覚と鳥眼視画像理解能力を高める。
論文 参考訳（メタデータ） (2025-03-18T03:25:57Z) - VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision [17.36342349850825]
教師としての視覚言語モデル(VLM)は、追加の監督を提供することで訓練を強化する。
VLM-ADは、nuScenesデータセットの計画精度と衝突率の大幅な改善を実現している。
論文 参考訳（メタデータ） (2024-12-19T01:53:36Z) - Probing Multimodal LLMs as World Models for Driving [72.18727651074563]
自律運転におけるMLLM(Multimodal Large Language Models)の適用について検討する。
GPT-4oのようなモデルの開発は進んでいるが、複雑な運転環境における性能は未解明のままである。
論文 参考訳（メタデータ） (2024-05-09T17:52:42Z) - Real-time Traffic Object Detection for Autonomous Driving [5.780326596446099]
現代のコンピュータビジョン技術は、効率よりも精度を優先する傾向がある。
既存の物体検出器はリアルタイムには程遠い。
リアルタイム要件を取り入れた,より適切な代替案を提案する。
論文 参考訳（メタデータ） (2024-01-31T19:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。