論文の概要: sensVLA: Spatially-Grounded Vision-Language-Action Model for Autonomous Wheel Loader
- arxiv url: http://arxiv.org/abs/2609.17021v1
- Date: Tue, 15 Sep 2026 11:29:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.476383
- Title: sensVLA: Spatially-Grounded Vision-Language-Action Model for Autonomous Wheel Loader
- Title（参考訳）: SensVLA:自律型車輪ローダの空間的周囲視線制御モデル
- Abstract要約: 自動車輪ローダ制御のためのビジョン・ランゲージ・アクションアーキテクチャであるSensVLAを提案する。
Qwen3-2B Vision-Language Model (VLM)と、フローマッチング速度の回帰によって訓練された完全に訓練可能なトランスフォーマーアクションエキスパートを組み合わせる。
SensVLAはBird's-Eye-View(BEV)機能を、融解した前方と後方のライダーから抽出し、専用のクロスアテンションパスを通じてアクションエキスパートに直接ルーティングする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Autonomous wheel-loader control requires joint reasoning over task semantics, egocentric vision, proprioception, and 3D scene geometry. We present sensVLA, a Vision-Language-Action (VLA) architecture that combines a Qwen3-2B Vision-Language Model (VLM) with a fully trainable transformer action expert trained by flow-matching velocity regression. sensVLA routes Bird's-Eye-View (BEV) features, extracted from fused front and rear lidar, directly to the action expert through a dedicated cross-attention pathway, while the VLM consumes front and rear RGB views to provide task-conditioned semantic context. This design decouples spatial grounding from linguistic reasoning while preserving interaction between both streams at decision time. The expert predicts six action dimensions: longitudinal velocity, steering, body-frame displacement, arm rate, and bucket rate. On a real-world dataset from a wheel loader, sensVLA reaches aggregate per-step parity with a strong camera-only baseline and reduces longitudinal velocity RMSE by 28% and displacement error by 9% on loading centric scenarios. It also degrades 29% less when the camera stream is corrupted or removed, evidencing that explicit spatial grounding improves accuracy and fault-tolerance for heavy equipment autonomy.
- Abstract（参考訳）: 自律的なホイールローダ制御には、タスク意味論、自我中心の視覚、プロプレセプション、および3Dシーン幾何学に関する共同推論が必要である。
本稿では、Qwen3-2B Vision-Language Model(VLM)と、フローマッチング速度回帰によって訓練されたフルトレーニング可能なトランスフォーマーアクションエキスパートを組み合わせたビジョン・ランゲージ・アクション(VLA)アーキテクチャであるSensVLAを提案する。
SensVLAは、融解された前方と後方のライダーから抽出されたBird's-Eye-View(BEV)機能を専用のクロスアテンションパスを通じてアクションエキスパートに直接ルーティングし、VLMは前と後方のRGBビューを消費してタスク条件のセマンティックコンテキストを提供する。
この設計は、決定時に両ストリーム間の相互作用を保ちながら、言語的推論から空間的接地を分離する。
専門家は、縦方向の速度、ステアリング、ボディフレームの変位、アームレート、バケットレートの6つのアクション次元を予測する。
ホイールローダーから得られた実世界のデータセットでは、SensVLAは強力なカメラのみのベースラインでステップ毎のアグリゲーションに到達し、縦速度RMSEを28%減らし、負荷中心のシナリオで変位誤差を9%減らした。
また、カメラストリームが破損したり削除されたりすると29%も劣化する。
関連論文リスト
- ReViV: Reconstructing the Viewer and the View in 4D from Monocular Egocentric Video [51.951128822418774]
ReViVは、総合的なエゴセントリックな4D再構成のためのフレームワークである。
Masked Generative Egocentric Transformerにより、ReViVは単一のフィードフォワードアーキテクチャ内で動作する。
論文 参考訳（メタデータ） (2026-07-20T10:22:53Z) - MindVLA-U1: VLA Beats VA with Unified Streaming Architecture for Autonomous Driving [54.57163800903507]
我々は、自動運転のための最初の統合ストリーミングVLAアーキテクチャであるMindVLA-U1を紹介する。
統一されたVLMバックボーンは、1つの共有表現に1つのフォワードパスでAR言語トークンとフローマッチングされた連続的なアクショントラジェクトリを生成する。
ロングテールのWOD-E2Eベンチマークでは、MindVLA-U1が経験豊富な人間のドライバーを初めて上回った。
論文 参考訳（メタデータ） (2026-05-12T18:09:42Z) - UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving [48.461267171124945]
自動運転のためのUnified Driving Vision-Language-ActionモデルであるUniDriveVLAを提案する。
理解、シーン認識、行動計画の3つの専門家で構成されており、マスク付き共同注意を通して調整されている。
nuScenesのオープンループ評価とBench2Driveのクローズループ評価における最先端性能を実現する。
論文 参考訳（メタデータ） (2026-04-02T15:48:45Z) - AerialVLA: A Vision-Language-Action Model for UAV Navigation via Minimalist End-to-End Control [20.1849703990752]
無人航空機(UAV)のための視覚言語ナビゲーション(VLN)は複雑な視覚的解釈と3D環境の連続的な制御を必要とする。
AerialVLAは、生の視覚観察とファジィ言語指示を直接連続的な物理制御信号にマッピングする、最小限のエンドツーエンドビジョン・ランゲージ・アクション・フレームワークである。
論文 参考訳（メタデータ） (2026-03-15T13:02:13Z) - AnchorVLA4D: an Anchor-Based Spatial-Temporal Vision-Language-Action Model for Robotic Manipulation [11.15252844796209]
VLA(Vision-Language-Action)システムは、空間的知覚が限られ、操作を通して記憶が欠如している。
AnchorVLA4Dは、視覚入力をアンカー画像で拡張し、初期シーンコンテキストを保存するシンプルな空間時空間VLAである。
論文 参考訳（メタデータ） (2026-03-13T07:21:16Z) - AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。
無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。
本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
論文 参考訳（メタデータ） (2026-02-10T11:08:07Z) - Percept-WAM: Perception-Enhanced World-Awareness-Action Model for Robust End-to-End Autonomous Driving [48.512353531499286]
本稿では,視覚言語モデル(VLM)に2D/3Dシーン理解能力を暗黙的に統合した知覚強調世界認識行動モデルPercept-WAMを紹介する。
我々は,高密度物体知覚のためのグリッド条件付き予測機構を提案し,IoU対応スコアリングと並列自己回帰デコードを導入し,長距離・遠距離・小対象シナリオの安定性を向上させる。
実験により、パーセプションWAMは下流の知覚ベンチマークで古典的な検出器やセグメンタと一致し、2D検出とBEV 3D検出で51.7/58.9 mAPを達成した。
論文 参考訳（メタデータ） (2025-11-24T15:28:25Z) - SpaRC-AD: A Baseline for Radar-Camera Fusion in End-to-End Autonomous Driving [5.343552118560704]
SpaRC-ADは、計画指向の自律運転のためのクエリベースのエンドツーエンドカメラレーダ融合フレームワークである。
本手法は、複数の自律運転タスクにおいて、最先端のビジョンのみのベースラインよりも強力な改善を実現する。
論文 参考訳（メタデータ） (2025-08-14T12:02:41Z) - Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。
本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。
我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
論文 参考訳（メタデータ） (2025-05-09T20:28:17Z) - Multi-camera Bird's Eye View Perception for Autonomous Driving [17.834495597639805]
他のエージェントや構造の空間的推論を可能にするためには、3Dで知覚出力を生成することが不可欠である。
カメラ画像から所望のBEV表現を達成するための最も基本的なアプローチは、平らな地面を仮定してIPMである。
近年のアプローチでは、ディープニューラルネットワークを使用してBEV空間を直接出力している。
論文 参考訳（メタデータ） (2023-09-16T19:12:05Z) - VILENS: Visual, Inertial, Lidar, and Leg Odometry for All-Terrain Legged Robots [5.789654849162465]
本報告では,足ロボットのための視覚的慣性ライダー脚ナビゲーションシステム(VILENS)について述べる。
重要な新規性は、信頼性の高い動作を実現するために、4つの異なるセンサーモードの密接な融合である。
最先端の疎結合アプローチと比較して, 平均62%の翻訳誤差と51%の回転誤差が改善した。
論文 参考訳（メタデータ） (2021-07-15T11:05:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。