論文の概要: FleetAgent: Teleoperation Assistant for Autonomous Fleets via Vectorized V2N Messages
- arxiv url: http://arxiv.org/abs/2606.21222v1
- Date: Fri, 19 Jun 2026 08:39:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 07:18:39.536244
- Title: FleetAgent: Teleoperation Assistant for Autonomous Fleets via Vectorized V2N Messages
- Title（参考訳）: FleetAgent: ベクトル化されたV2Nメッセージによる自律的なフリートのための遠隔操作アシスタント
- Authors: Juntong Peng, Qi Chen, Deyuan Qu, Takayuki Shimizu, Yaobin Chen, Ziran Wang,
- Abstract要約: クラウドホスト型マルチモーダル大規模言語モデルアシスタント(MLLM)であるFleetAgentを紹介する。
マップ要素、検出されたオブジェクト、エゴ計画パスなど、コンパクトなベクトル化されたV2Nメッセージを使用する。
操作者の優先順位付けのための介入緊急スコアとともに、構造化された自然言語応答(ナレーション、説明、計画とシーンの評価を含む)を提供する。
- 参考スコア（独自算出の注目度）: 14.363345763912932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale autonomous fleets rely on teleoperation to resolve rare failures, yet streaming raw sensor data from many vehicles is costly, and remote operators can only monitor a limited number of vehicles at a time. We introduce FleetAgent, a cloud-hosted multimodal large language model (MLLM) assistant that consumes compact vectorized vehicle-to-network (V2N) messages, such as map elements, detected objects, and the ego planned path. It provides a structured natural-language response (including narration, explanation, and evaluation of the plan and scene), along with an intervention urgency score for operator prioritization. To make structured messages compatible with token-based MLLMs, we propose VecFormer, a vector-to-embedding interface with differentiable top-K context selection that bounds context length and GPU KV-cache growth, enabling more efficient batch processing, which is important under the context of cloud-hosted large-scale fleet management. We also construct VecEval, a nuScenes-derived dataset with paired human and synthetic imperfect plans and human-verified language labels, to facilitate the training and evaluation of our proposed system. Our proposed system can reduce uplink payload by up to 625 times compared with raw images and reduce KV-cache memory by 16.54 times compared with original text descriptions. On VecEval, FleetAgent improves Lingo-Judge score by 16.8% and reduces intervention failure rate by 19.9%, compared with Qwen2.5-VL-7B using language descriptions. These results demonstrate that FleetAgent can utilize compact structured V2N messaging to enable efficient, explainable teleoperation monitoring for autonomous fleets.
- Abstract（参考訳）: 大規模な自動運転車両は、まれな障害を解決するために遠隔操作に頼るが、多くの車両から生のセンサーデータをストリーミングすることはコストがかかり、遠隔操作者は一度に限られた数の車両を監視できる。
クラウドホスト型マルチモーダル大規模言語モデル(MLLM)アシスタントであるFleetAgentを導入し,地図要素や検出対象,エゴ計画経路など,コンパクトなベクトル化された車両間通信(V2N)メッセージを利用する。
構造化された自然言語応答(ナレーション、説明、計画とシーンの評価を含む)と、操作者の優先順位付けのための介入緊急スコアを提供する。
トークンベースのMLLMと互換性のある構造化メッセージを実現するために,VecFormerを提案する。これは,コンテキスト長とGPU KV-cacheの成長をバウンドする,可変のトップKコンテキスト選択可能なベクタ・ツー・エンベッドインターフェースで,クラウドホスト型大規模艦隊管理のコンテキストにおいて重要な,より効率的なバッチ処理を実現する。
また,提案手法の訓練と評価を容易にするため,NuScenesをベースとしたデータセットであるVecEvalを構築した。
提案システムは,原画像と比較して最大625倍のアップリンクペイロードを削減でき,KVキャッシュメモリを原テキスト記述に比べて16.54倍削減できる。
VecEvalでは、FleetAgentは言語記述を使用したQwen2.5-VL-7Bと比較して、Lingo-Judgeのスコアを16.8%改善し、介入失敗率を19.9%削減している。
これらの結果は、FleetAgentがコンパクトな構造化V2Nメッセージングを利用して、自律車両の効率的かつ説明可能な遠隔操作監視を可能にすることを実証している。
関連論文リスト
- Task-Oriented Communication for Human Action Understanding via Edge-Cloud Co-Inference [19.901979392669443]
スマートセンシングは、ネットワークエッジにおける人間の行動の正確な理解に対する需要が高まっている。
従来のアプローチでは、リソース制約のあるエッジデバイスから強力なクラウドサーバへ、大量のビデオデータを送信する必要がある。
エッジクラウドコラボレーションによるヒューマンアクション理解(TOAU)のためのタスク指向コミュニケーションフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-08T07:08:28Z) - OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models [69.2503510410147]
予め訓練されたVLM上に構築した統合自動運転フレームワークを提案する。
トレーニング済みのVLMアテンションは、純粋言語モデリング以上の強い伝達性を示すことを示す。
エンドツーエンドの自動運転ベンチマークの実験は、最先端のパフォーマンスを示している。
論文 参考訳（メタデータ） (2026-04-20T07:50:00Z) - ETA-VLA: Efficient Token Adaptation via Temporal Fusion and Intra-LLM Sparsification for Vision-Language-Action Models [14.841746872486333]
本稿では,VLAモデルの効率的なToken AdaptationフレームワークであるETA-VLAを提案する。
ETA-VLAは最先端のベースラインに匹敵する運転性能が得られることを示す。
提案手法は, 85%の視覚トークンを抽出し, FLOPを61%削減するが, NAVSIM v2ベンチマークでは元の精度の94%を維持している。
論文 参考訳（メタデータ） (2026-03-26T06:53:42Z) - Task-Oriented Semantic Communication in Large Multimodal Models-based Vehicle Networks [55.32199894495722]
LMMに基づく車両用AIアシスタントLarge Language and Vision Assistant(LLaVA)について検討する。
計算要求を減らし、応答時間を短縮するため、LLaVAの画像スライシングを最適化し、ユーザにとって最も関心のある領域に選択的にフォーカスする。
交通シナリオに対する視覚質問応答(VQA)データセットを構築し,有効性を評価する。
論文 参考訳（メタデータ） (2025-05-05T07:18:47Z) - COST: Contrastive One-Stage Transformer for Vision-Language Small Object Tracking [52.62149024881728]
本稿では,視覚言語(VL)追跡のための一段変圧器融合フレームワークを提案する。
ビデオとそれに対応する言語記述間の相互情報を最大化するコントラストアライメント戦略を導入する。
視覚言語変換器を活用することにより,効率的なマルチモーダル融合・推論機構を確立する。
論文 参考訳（メタデータ） (2025-04-02T03:12:38Z) - Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。
圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。
その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
論文 参考訳（メタデータ） (2025-03-17T08:37:22Z) - Exploring Highly Quantised Neural Networks for Intrusion Detection in
Automotive CAN [13.581341206178525]
機械学習に基づく侵入検出モデルは、標的となる攻撃ベクトルを複数検出することに成功した。
本稿では,多クラス分類モデルとしてのカスタム量子化文学(CQMLP)について述べる。
IDSとして統合された2ビットCQMLPモデルでは、悪意のある攻撃メッセージを99.9%の精度で検出できることが示されている。
論文 参考訳（メタデータ） (2024-01-19T21:11:02Z) - A Lightweight Multi-Attack CAN Intrusion Detection System on Hybrid
FPGAs [13.581341206178525]
コントローラエリアネットワーク(CAN)における複数攻撃ベクトルの検出において、侵入検知と緩和アプローチが有望な結果を示している。
本稿では,Zynq Ultrascale+ (XCZU3EG) FPGA上にXilinxのDeep Learning Processing Unit IPを用いて,軽量なマルチアタック量子機械学習モデルを提案する。
このモデルは、99%以上の精度でサービス拒否とファジッシング攻撃を検知し、その偽陽性率は0.07%であり、これは文学における最先端技術に匹敵するものである。
論文 参考訳（メタデータ） (2024-01-19T13:39:05Z) - Multimodal Transformer with Variable-length Memory for
Vision-and-Language Navigation [79.1669476932147]
VLN(Vision-and-Language Navigation)は、エージェントが目標位置に向かうために言語命令に従う必要があるタスクである。
近年のTransformer-based VLN法は,視覚的観察と言語指導の直接的な結びつきから大きな進歩を遂げている。
視覚的な自然言語ナビゲーションのための可変長メモリ(MTVM)を備えたマルチモーダルトランス (Multimodal Transformer) を提案する。
論文 参考訳（メタデータ） (2021-11-10T16:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。