論文の概要: Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving

• arxiv url: http://arxiv.org/abs/2607.15621v1
• Date: Fri, 17 Jul 2026 04:40:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.750102
• Title: Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving
• Title（参考訳）: 5Hz、20Hzのアクティベート:クローズドループ運転のための高速スロービジョン・ランゲージ・アクション推論
• Abstract要約: 大規模言語モデルは、命令の追従とシーン推論をエンドツーエンドの駆動にもたらす。 既存のクローズドループエージェントはこのギャップを、別のシミュレーションティッチでモデルを呼び出すことで隠している。 この妥協を取り除いた高速スローアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 9.75159490914078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models bring instruction following and scene reasoning to end-to-end driving, but their inference latency collides with the control rate a vehicle requires. Existing closed-loop agents hide this gap by invoking the model on alternate simulation ticks and replaying the previous command in between, so half of all control outputs ignore the newest observations. We present a fast-slow architecture that removes this compromise. A frozen 7B vision-language backbone acts as the slow system, digesting navigation instructions and visual history at low frequency while exposing its per-layer key-value cache as a standing representation of the scene. A lightweight action expert acts as the fast system, attending to this cache and to the current camera frame at every simulation tick to regress waypoints in a single forward pass. Since the cache lags behind the world at deployment, we train the expert under randomized staleness, aligning training with asynchronous execution. On LangAuto-Short routes in CARLA, our system produces fresh control at every 50 ms simulation tick and lifts route completion from 37.0 to 94.0 over the frame-skipping baseline. A frame-skip ablation with the same expert separates the two factors at work: the expert raises the driving score on its own, while per-tick freshness raises completion from 82.1 to 94.0 and cuts red-light violations by a third. Trained on a single town, the expert transfers zero-shot to two unseen towns, holding 84-94% route completion where the baseline reaches 31-41%. It reduces open-loop waypoint error by nearly a factor of four compared to the backbone's own action head, at a per-tick model cost of 32 ms that is independent of history length on a single consumer GPU.
• Abstract（参考訳）: 大規模言語モデルは命令追従とシーン推論をエンドツーエンドの運転にもたらすが、推論遅延は車両に必要な制御速度と衝突する。 既存のクローズドループエージェントはこのギャップを隠蔽し、別のシミュレーションでモデルを呼び出すと、その間に前のコマンドを再生するので、制御出力の半分は最新の観測を無視する。 この妥協を取り除いた高速スローアーキテクチャを提案する。 凍結した7B視覚言語バックボーンはスローシステムとして機能し、ナビゲーション命令と視覚履歴を低周波で消化し、その層ごとのキー値キャッシュをシーンのスタンディング表現として公開する。 軽量なアクションエキスパートが高速なシステムとして機能し、このキャッシュと現在のカメラフレームに、すべてのシミュレーションティッチで参加して、1つのフォワードパスでウェイポイントを後退させる。 デプロイ時のキャッシュラグが遅れているため、ランダムな安定化の下でエキスパートをトレーニングし、トレーニングと非同期実行を整合させる。 CARLAのLangAuto-Shortルートでは,50ミリ秒毎のシミュレーションティッチで新たな制御を行い,フレームスキッピングベースライン上で37.0から94.0までの経路完了を実現する。 同じ専門家によるフレームスキップアブレーションは、作業中の2つの要因を分離する: 専門家は自力で駆動スコアを上げ、一方、厚さごとの鮮度は完了率82.1から94.0に上がり、赤信号違反を3分の1に削減する。 1つの町で訓練され、ゼロショットは2つの見えない町に転送され、84-94%のルートが完成し、ベースラインは31-41%に達する。 これにより、バックボーン自身のアクションヘッドと比較して、オープンループのウェイポイントエラーを4倍近く削減できる。

関連論文リスト

• GlanceWAM: Sparse Test-Time Imagination for World-Action Models [27.2350308442675]
  GlanceWAMを導入し、単一のビデオDiT内での想像力を制御から切り離す。 24タスクのRoboCasaキッチンベンチマークでは72.2%に達している。 NVIDIA A100 GPU(同期ベースラインの24倍高速)上で、1チャンク当たり48ミリ秒で実行される。
  論文  参考訳（メタデータ） (2026-08-25T00:19:09Z)
• DriveCache: Action-Aware Caching for Driving World Model Inference [61.07117287683939]
  拡散ベースの駆動ジェネレータは、デノナイジングステップ全体にわたって大きなバックボーンを評価し、生成スループットを制限します。 既存の拡散加速法では、このコストを削減できるが、汎用設計では、エゴ速度や計画軌道など、発生前に利用可能な駆動信号は省略される。 トレーニング不要でアクション対応のコントローラであるDriveCacheを提案する。このコントローラは,シーン間での再利用や動的プログラミングの割り当てに,調整された応答予算の下でのデノナイズステップの配置に使用する。
  論文  参考訳（メタデータ） (2026-08-17T10:04:49Z)
• Zero-Shot Traffic Accident Detection via a Coarse-to-Fine VLM-Tracking Pipeline [0.10874100424278173]
  ACCIDENT @ CVPRベンチマークは、厳密な制約の下で、この共同予測を正確に評価する。 我々は,凍結したQwen3-VL-32B-インストラクション視覚言語モデルとYOLO11xオブジェクト検出とBoT-SORTトラッキングを組み合わせた,トレーニングフリーで2パスの粗いパイプラインを提案する。 公式の2,027クリップの実CCTVテストセットにおいて,本システムは0.504の3方向高調波平均スコアを達成した。
  論文  参考訳（メタデータ） (2026-08-09T19:08:56Z)
• Robostral Navigate [138.74472687550374]
  Robostral Navigateは、大規模なナビゲーションシステムのための視覚言語モデルである。 モノラルなRGB画像のストリームのみを消費し、現在のカメラビューの次のターゲット位置を指して、ウェイポイントを予測する。 我々は、実世界のデータ収集への依存を減らすため、350kのシミュレートされたシーンに240万のトラジェクトリを生成します。
  論文  参考訳（メタデータ） (2026-07-22T23:13:05Z)
• Stop to Decide: Latency-Aware Proprioceptive Navigation Primitives for Mapping-Free Quadruped Inspection [17.95005898596094]
  コンピュータに制約された四足歩行は、しばしばコントローラの設計速度よりはるかに低いナビゲーションループを走らせる。 この遅延は標準的な受容パターンを破り、まだ登っている間にボディピッチ信号から階段が到着する、と宣言する。 インモーション検出は、周期ごとの前進v/fで、確率が上昇してトップエッジをオーバーシュートする。
  論文  参考訳（メタデータ） (2026-07-13T07:56:00Z)
• Learning to Navigate Efficiently with Only 0.58M Trainable Parameters [12.68304107799412]
  既知の閉形式構造を持つ操作を解析的に計算し、3つの小さな学習モジュール間のインタフェースとして機能するナビゲーションモデルを提案する。 このシステムは、合計22.7Mパラメータのうちわずか0.58Mを1時間未満で44kフレームでトレーニングするが、ナビゲーションタスクの最先端モデルの性能にアプローチする。
  論文  参考訳（メタデータ） (2026-07-13T02:49:55Z)
• LocalNav: Distilling Frontier VLMs and Embodied RL for On-Device Object Goal Navigation [53.88286427894783]
  視覚言語モデル(VLM)は、ロボット分野において、言語コンテキストによる環境認識を可能にする強力なツールとして登場した。 しかし、彼らの計算フットプリントは、通常、それらをクラウド実行に制限し、リソースに制約のあるロボットへのローカルなデプロイによる低レイテンシの推論を妨げる。 本稿では,大規模フロンティアモデルからの複雑な空間意味推論を,組み込みGPUデバイス上でエッジ実行を行うための軽量な4BパラメータローカルVLMに転送する蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2026-06-26T09:11:59Z)
• MotionMAR: Multi-scale Auto-Regressive Human Motion Reconstruction from Sparse Observations [51.837372131319285]
  MotionMARは、スパース観測からの運動再構成のためのフレームワークである。 まず、人間の動きのグローバルな軌跡を推定し、時間的詳細を徐々に洗練する。 MotionMARは、AMASSデータセット上で最先端の精度を達成する。
  論文  参考訳（メタデータ） (2026-06-22T08:15:56Z)
• CausalDrive: Real-time Causal World Models for Autonomous Driving [60.66609721457312]
  制御可能でリアルタイムなファンデーション駆動の世界であるCausalDriveを紹介します。 CaulDriveは、最初のフロントビューフレーム、エゴ車両の軌道、マクロテキストプロンプトのみで動作する。 本稿では,(1)衝突アーティファクトを著しく緩和した生成的クローズループ評価,(2)ビデオ2Rewardモジュールによる大規模強化学習(RL)後トレーニング,(3)リアルタイムの人間-イン-ザ・ループシミュレーション,の3つのダウンストリームアプリケーションにおける汎用性を実証する。
  論文  参考訳（メタデータ） (2026-06-13T15:04:44Z)
• Mobile UMI: Cross-View Diffusion Policy with Decoupled Kinematics for Mobile Manipulation [4.311650365696827]
  最近の手首搭載インタフェースはテーブルトップデータ収集のコストを下げるが、単一の手首ビューはベースナビゲーションに必要なグローバルなコンテキストを捉えない。 生成ポリシーは数百ミリ秒の推論遅延を導入します。 本稿では,3つのコンポーネント間のギャップに対処するハードウェアフリーなデモフレームワークであるMobile UMIを提案する。
  論文  参考訳（メタデータ） (2026-05-20T08:33:53Z)
• Think as Needed: Geometry-Driven Adaptive Perception for Autonomous Driving [4.320171553006484]
  現在の3D検出モデルは、すべてのフレームに固定された計算予算を適用し、単純なシーンでリソースを浪費すると同時に、複雑なシーンのキャパシティを欠いている。 本稿では,各LiDARフレームの幾何学的複雑さを測定する適応型知覚アーキテクチャである拡張HOPEを提案する。 nuScenesとCARLAのベンチマークでは、強化HOPEは、正確さを損なわずに単純なシーンでのレイテンシを38%削減し、稀なロングテールシナリオでは平均平均精度を2.7ポイント改善している。
  論文  参考訳（メタデータ） (2026-05-11T07:34:13Z)
• End-to-End Spatial-Temporal Transformer for Real-time 4D HOI Reconstruction [74.31251139839047]
  THOは、ビデオと3Dテンプレートから、人間の動きと調整された物体の動きを前方に予測する、エンドツーエンドの空間-時間変換器である。 実験により、THOは1つの4090 GPU上で31.5 FPSの推論速度で動作し、以前の最適化ベースの手法よりも600倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-03-15T15:21:36Z)
• Event-Based Visual Teach-and-Repeat via Fast Fourier-Domain Cross-Correlation [52.46888249268445]
  本稿では,最初のイベントカメラを用いた視覚指導・再生システムを提案する。 本研究では,イベントストリームマッチング問題を計算効率の良い空間乗算に変換する周波数領域相互相関フレームワークを開発した。 Prophesee EVK4 HDイベントカメラをAgileX Scout Miniロボットに搭載した実験では、自律走行が成功している。
  論文  参考訳（メタデータ） (2025-09-21T23:53:31Z)
• SpaRC-AD: A Baseline for Radar-Camera Fusion in End-to-End Autonomous Driving [5.343552118560704]
  SpaRC-ADは、計画指向の自律運転のためのクエリベースのエンドツーエンドカメラレーダ融合フレームワークである。 本手法は、複数の自律運転タスクにおいて、最先端のビジョンのみのベースラインよりも強力な改善を実現する。
  論文  参考訳（メタデータ） (2025-08-14T12:02:41Z)
• CabiNet: Scaling Neural Collision Detection for Object Rearrangement with Procedural Scene Generation [54.68738348071891]
  私たちはまず、さまざまな日常環境において、650万以上の散らばったシーン(前よりも桁違いに多い)を生成します。 このデータから合成部分点雲をレンダリングし、それをCabiNetモデルアーキテクチャのトレーニングに使用します。 CabiNetは、オブジェクトとシーンポイントの雲を受け入れる衝突モデルである。
  論文  参考訳（メタデータ） (2023-04-18T21:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。