論文の概要: TALSC: Timeliness-Aware Large-Small VLM Collaboration for Infrastructure-Assisted Autonomous Driving
- arxiv url: http://arxiv.org/abs/2608.01998v1
- Date: Mon, 03 Aug 2026 09:58:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.480231
- Title: TALSC: Timeliness-Aware Large-Small VLM Collaboration for Infrastructure-Assisted Autonomous Driving
- Title(参考訳): talSC:インフラ支援自律運転のためのタイムライン対応大型VLMコラボレーション
- Abstract要約: 我々は,LVLMの精度向上と遅延によるタイムライン劣化のバランスをとるために,タイムライン対応大規模VLMコラボレーション(TALSC)フレームワークを開発した。
具体的には、まず、VLM推論のためのAge of Information(AoI)進化をモデル化し、AoIとトークン長、タスクパフォーマンスの結合を特徴付ける。
スケジューリング決定は、将来のスケジュール基準に遅れがあり、スケジュール時に出力トークン番号が不明であるので、リアプノフドリフト+推定コストアルゴリズムを設計し、保証された性能を提供する。
- 参考スコア(独自算出の注目度): 15.843591522874497
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The deployment of Vision-Language Models (VLMs) in autonomous driving (AD) systems is constrained by on-board computing power, restricting vehicles to small VLMs (SVLMs) with limited perception and reasoning capabilities. Infrastructure-assisted AD alleviates this resource constraint by enabling collaboration with large VLMs (LVLMs) at edge servers. However, in dynamic vehicular environments, the utility of sensory data for downstream tasks decays rapidly, making timeliness of information a critical concern. To balance the accuracy gains of LVLMs with their latency-induced timeliness degradation, we develop a Timeliness-Aware Large-Small VLM Collaboration (TALSC) framework. Specifically, we first model the Age of Information (AoI) evolution for VLM inference and characterize the coupling among AoI, token length, and task performance to formulate a general timeliness metric. Building on this, we propose the TALSC online scheduling algorithm. Since scheduling decisions have a delayed impact on future timeliness metric and the output token number is unknown at scheduling time, we design a Lyapunov drift-plus-estimated-penalty algorithm and provides a guaranteed performance. In simulation, we first conduct a case study to derive a fitted timeliness metric based on nuScenes dataset, and further show that TALSC outperforms baselines under various communication and computing settings, achieving up to a 12.6\% normalized improvement in Micro-F1 score compared with the best-performing baseline.
- Abstract(参考訳): 自律走行(AD)システムにおけるビジョン・ランゲージ・モデル(VLM)の展開は、車載コンピューティングパワーによって制限されており、車両を知覚と推論能力に制限された小さなVLM(SVLM)に制限する。
インフラ支援ADは、エッジサーバでの大規模なVLM(LVLM)とのコラボレーションを可能にすることで、このリソース制約を軽減する。
しかし、動的車両環境では、下流タスクのための感覚データの有用性は急速に低下し、情報のタイムラインが重要な関心事となっている。
LVLMの精度向上と遅延によるタイムライン劣化のバランスをとるために,Timeliness-Aware Large-Small VLM Collaboration (TALSC) フレームワークを開発した。
具体的には、まず、VLM推論のためのAge of Information(AoI)進化をモデル化し、AoIとトークン長、タスクパフォーマンスの結合を特徴付ける。
そこで本研究では,TALSCオンラインスケジューリングアルゴリズムを提案する。
スケジューリング決定は、将来のスケジュール基準に遅れがあり、スケジュール時に出力トークン番号が不明であるので、リアプノフドリフト+推定コストアルゴリズムを設計し、保証された性能を提供する。
シミュレーションではまず, nuScenesデータセットに基づく時系列測定値の適合化を事例として, さらに, TALSCが様々な通信・計算環境下でのベースラインよりも優れており, 最高性能のベースラインと比較して, 最大12.6%の正規化改善を実現していることを示す。
関連論文リスト
- Sim2Schedule: A Simulator-Guided LLM Framework for Autonomous Open-Pit Mine Scheduling [1.529342790344802]
本研究では,シミュレータ駆動型Large Language Model (LLM)スケジューリングフレームワークを導入する。
このフレームワークは、クラウドベースの推論、ドメイン固有の微調整、再トレーニングなしで、完全な、解釈可能な抽出と処理スケジュールを生成する。
MILP最適NPVの94%から99%を回復し、線形にスケーリングする。
論文 参考訳(メタデータ) (2026-06-09T01:20:38Z) - Empirical Recipes for Efficient and Compact Vision-Language Models [54.92440500651415]
リソース制約のある設定における視覚言語モデル(VLM)は低レイテンシと高スループットを必要とする。
実験的なエンドツーエンドの効率分析と系統的なプロファイル推論を行い、主要なボトルネックを特定します。
精度を保ちながらレイテンシを大幅に低減する,コンパクトなVLMに適した最適化レシピを開発した。
論文 参考訳(メタデータ) (2026-03-17T17:17:40Z) - COVLM-RL: Critical Object-Oriented Reasoning for Autonomous Driving Using VLM-Guided Reinforcement Learning [55.83415345423854]
批判的オブジェクト指向(CO)推論と強化学習(RL)を統合した新しいエンドツーエンド駆動フレームワークCOVLM-RLを提案する。
CARLAシミュレータで行った実験により、COVLM-RLはトレーニング運転環境における成功率を30%向上することが示された。
論文 参考訳(メタデータ) (2025-12-10T06:18:16Z) - Efficient Onboard Vision-Language Inference in UAV-Enabled Low-Altitude Economy Networks via LLM-Enhanced Optimization [61.55616421408666]
低高度経済ネットワーク(LAENets)は、航空監視、環境検知、セマンティックデータ収集など、様々な応用を可能にしている。
オンボードビジョン(VLM)は、リアルタイムな推論を提供するが、オンボードの動的ネットワーク条件は限られている。
動的LEENet条件下での通信効率を向上させるUAV対応LEENetシステムを提案する。
論文 参考訳(メタデータ) (2025-10-11T05:11:21Z) - Structured Labeling Enables Faster Vision-Language Models for End-to-End Autonomous Driving [29.019907345552475]
VLM(Vision-Language Models)は、人間のような推論能力のために、エンドツーエンドの自動運転に有望なアプローチを提供する。
ゆるやかにフォーマットされた言語記述を持つ既存のデータセットは、マシンフレンドリではなく、冗長性を導入する可能性がある。
本稿では,NuScenesデータセットから派生した構造的かつ簡潔なベンチマークデータセットであるNuScenes-Sについて紹介する。
論文 参考訳(メタデータ) (2025-06-05T12:59:35Z) - Evaluating the Efficacy of LLM-Based Reasoning for Multiobjective HPC Job Scheduling [6.375075345747834]
ReActスタイルフレームワークを用いたLarge Language Model (LLM)ベースのスケジューラ(Reason + Act)
Systemはスクラッチパッドメモリを内蔵し、スケジューリング履歴を追跡し、自然言語のフィードバックを通じて決定を洗練する。
我々は,OpenAI の O4-Mini と Anthropic の Claude 3.7 を用いて,実世界の7つの HPC ワークロードシナリオに対してアプローチを評価した。
論文 参考訳(メタデータ) (2025-05-29T14:25:29Z) - SOLVE: Synergy of Language-Vision and End-to-End Networks for Autonomous Driving [51.47621083057114]
SOLVEは、ビジョンランゲージモデルとエンド・ツー・エンド(E2E)モデルを相乗化して自動運転車の計画を強化する革新的なフレームワークである。
提案手法は,VLMとE2Eコンポーネント間の包括的インタラクションを実現するために,共有ビジュアルエンコーダによる機能レベルでの知識共有を重視している。
論文 参考訳(メタデータ) (2025-05-22T15:44:30Z) - ELIS: Efficient LLM Iterative Scheduling System with Response Length Predictor [5.097511974401423]
ELIS (Large Language Models) は、ISRTF(Iterative Shortest Remaining Time First)スケジューラを備えた大規模言語モデル(LLM)のサービスシステムである。
ISRTFスケジューラは、最も短い時間で推論タスクを効率的に管理する。
論文 参考訳(メタデータ) (2025-05-14T04:50:00Z) - A Large Language Model-Enhanced Q-learning for Capacitated Vehicle Routing Problem with Time Windows [3.0518581575184225]
本稿では、CVRPTW(Capacitated Vehicle Routing Problem with Time Windows)に対処する新しいQラーニングフレームワークを提案する。
我々のフレームワークは従来のQ-ラーニングに比べて平均7.3%のコスト削減を実現しており、収束に必要なトレーニングステップは少ない。
論文 参考訳(メタデータ) (2025-05-09T16:45:43Z) - DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。
我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。
拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-06-11T06:31:03Z) - Time-sensitive Learning for Heterogeneous Federated Edge Intelligence [52.83633954857744]
フェデレーションエッジインテリジェンス(FEI)システムにおけるリアルタイム機械学習について検討する。
FEIシステムは異種通信と計算資源分布を示す。
本稿では,共有MLモデルの協調学習における全体の実行時間を最小化するために,時間依存型フェデレーションラーニング(TS-FL)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-01-26T08:13:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。