論文の概要: Leap-VLA: High-Rate Robot Control from a Low-Rate VLM Backbone
- arxiv url: http://arxiv.org/abs/2611.01011v1
- Date: Sat, 31 Oct 2026 14:53:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-13 08:37:29.174723
- Title: Leap-VLA: High-Rate Robot Control from a Low-Rate VLM Backbone
- Title(参考訳): Leap-VLA:低速度VLMバックボーンからの高速度ロボット制御
- Abstract要約: ビジョン・ランゲージ・アクション(VLA)モデルは、制御ステップ毎にマルチビリオン・パラメータ・ビジョン・ランゲージ・モデル(VLM)を通して全観測をエンコードする。
VLMは、キャッシュされたコンテキストが制御ステップ間で再利用される低周波セマンティックアンカーとして動作し、フローマッチングアクションエキスパートは高周波で動作する。
- 参考スコア(独自算出の注目度): 14.73228750679021
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models re-encode the full observation through a multi-billion-parameter vision-language model (VLM) at every control step, even though scene semantics evolve at roughly 1 Hz while reactive control requires 20-50 Hz. We present a VLA that decouples the two: a VLM runs as a low-frequency semantic anchor whose cached context is reused across control steps, while a flow-matching action expert operates at high frequency, consuming the cached semantics with a fresh, low-latency visual stream from a compact encoder pretrained on robot video with masked reconstruction, optical flow, and depth. The measured age $τ$ of the cache conditions the expert through adaptive layer normalization. Reusing the cache makes the policy a function of its age, and training covers that function explicitly: cache ages sampled from real episode history, plus an age-ramped pixel corruption that erases the stale snapshot the way deployed staleness corrupts content. On the asynchronous deployment stack, the recipe closes most of the staleness gap: on LIBERO-Spatial, 61.4% to 95.5% at a 2 s semantic refresh (95.9% at 1 s, within 1.6 points of the frequency-matched anchor); averaged over the four LIBERO suites, the deployed policy holds 95.2% at a 1 s refresh and 94.5% at 2 s against a 96.3% matched anchor. A forward-only chunk-boundary correction (soft-nudge), an autograd-free reformulation of real-time-chunking guidance, carries per-control-step re-planning without loss (97.1%) at zero added latency. The same lens exposes a second defect: under an instruction-scene mismatch the policy keeps manipulating the scene, and a chain-of-thought verdict gate trained on zero-cost negative episodes freezes execution exactly on mismatched instructions without hurting feasible success.
- Abstract(参考訳): 視覚-言語-アクション(VLA)モデルは、反応制御が20-50Hzであるのに対して、シーンセマンティクスはおよそ1Hzで進化するにもかかわらず、制御ステップ毎にマルチビリオン-パラメータ・ビジョン-言語モデル(VLM)を通して全観測を再符号化する。
VLMは、制御ステップ間でキャッシュされたコンテキストが再利用される低周波セマンティックアンカーとして動作し、フローマッチングアクションエキスパートは、マスクされた再構成、光学フロー、深さを持つロボットビデオで事前訓練されたコンパクトエンコーダから、新しい低遅延のビジュアルストリームでキャッシュされたセマンティクスを消費する。
適応層正規化によるキャッシュ条件の測定値のτ$。
キャッシュの再利用は、ポリシーを年齢の関数にし、トレーニングは、実際のエピソード履歴からサンプリングされたキャッシュの年齢と、デプロイされた古いスナップショットを消去する年齢制限付きピクセルの破損という、明確にその機能をカバーします。
LIBERO-Spatialでは2秒のセマンティックリフレッシュで61.4%から95.5%(周波数マッチングアンカーの1.6ポイント以内で95.9%)、4つのLIBEROスイートで平均すると、1秒のリフレッシュで95.2%、マッチしたアンカーで94.5%である。
前行のみのチャンク境界補正(soft-nudge)は、リアルタイムチャンキングガイダンスのオートグレードフリーな修正であり、ゼロレイテンシで、損失のない制御ステップごとの再計画(97.1%)を実行する。
同じレンズが第2の欠陥を露呈する: 命令シーンのミスマッチの下では、ポリシーはシーンを操作し続ける。
関連論文リスト
- Temporal Slice Learning for AI-Generated Video Detection with 400$\times$ Fewer FLOPs [53.83563676251817]
我々は、表現の観点からAI生成ビデオ検出を再考する。
ビデオ全体をモデル化する代わりに、情報的時間的進化を分離するコンパクトな時間的スライス表現に再構成する。
AI-Artistは、最近の高忠実度ジェネレータのアーティストがキュレーションしたビデオのベンチマークである。
論文 参考訳(メタデータ) (2026-10-26T10:15:33Z) - MoG-VLM: Efficient Video Anomaly Detection through Motion-Guided Vision-Language Models [32.56479406653528]
MoG-VLMはモーション適応型異常検出フレームワークである。
本稿では,情報領域に集中してコンテンツ認識サンプリングを行うTGMについて紹介する。
4つのベンチマークで、XD-Violence, UCF-Crime, MSAD, ShanghaiTech上で91.91%、84.30%、87.88%、78.96%のAUC-ROCを達成した。
論文 参考訳(メタデータ) (2026-10-22T16:03:47Z) - Neural Introspection Gating for Adaptive KV-Cache Reuse in Vision-Language-Action Models [15.623091131522528]
Gated VLA-Cacheは、ニューラルイントロスペクションによる視覚的類似性キャッシングを強化する。
OpenVLAとOpenVLA-OFTで4つのLIBEROベンチマークスイートを評価した。
論文 参考訳(メタデータ) (2026-08-11T11:53:10Z) - Adaptive Intrusion Detection System using Transformer-Based Neural Networks and Continual Learning Approach with Adversarial Investigation [1.90296757424868]
ネットワーク侵入検知システム (IDS) は, 脅威分布のシフトに伴い, 配置後無音で停止する。
リプレイベースの連続学習はこれに反論するが、既存の手法では、ベニティトラフィックを1つの初期タスクに非現実的に限定し、リプレイバッファを潜在的攻撃面として無視する。
より忠実なストレステストとして新しい攻撃と共に良心が流れるクラスインスタンスインクリメンタル(CII)シナリオを導入し、オーバートラベルのフリップとステルスバックドア中毒攻撃でバッファーを探索する。
論文 参考訳(メタデータ) (2026-08-05T09:06:45Z) - Reducing Temporal Redundancy for Efficient Vision-Language-Action Inference [19.683948028719808]
VLA(Vision-Language-Action)モデルは、ロボット操作の強力な一般化を示すが、その高い推論遅延はリアルタイムデプロイメントを制限する。
本稿では,知覚と行動生成の両面での計算量を削減するシステムレベル加速戦略を提案する。
Libero、RobotWin、Real Robot Platformsの実験では、ハイパフォーマンスを維持しながら、2倍以上のスピードアップを実証している。
論文 参考訳(メタデータ) (2026-07-14T02:48:31Z) - Motion-Aware Caching for Efficient Autoregressive Video Generation [73.27762884730272]
MotionCacheは、ピクセルレベルのモーション特性の軽量プロキシとして、フレーム間の差異を利用する。
SkyReels-V2やMAGI-1のような最先端モデルの実験では、MotionCacheが大幅なスピードアップを実現している。
論文 参考訳(メタデータ) (2026-05-03T05:49:27Z) - A1: A Fully Transparent Open-Source, Adaptive and Efficient Truncated Vision-Language-Action Model [112.9420001646428]
VLA(Vision-Language-Action)モデルは、オープンワールドロボット操作の強力なパラダイムとして登場したが、実際の展開はコストに制約されることが多い。
我々は、低コストで高スループットな推論のために設計された、完全にオープンソースで透明なVLAフレームワークであるA1を提示する。
A1は最先端の成功率を達成すると同時に、推論コストを大幅に削減する。
論文 参考訳(メタデータ) (2026-04-07T10:18:40Z) - Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。
GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。
LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
論文 参考訳(メタデータ) (2026-02-22T15:39:34Z) - VLCache: Computing 2% Vision Tokens and Reusing 98% for Vision-Language Inference [32.33685370786451]
VLCacheは、KeyValue(KV)キャッシュとEncoderLang入力の両方を活用するキャッシュ再利用フレームワークである。
VLCacheはトークンの2-5%しか計算しておらず、1.2x-16x TTFTの高速化を実現している。
論文 参考訳(メタデータ) (2025-12-15T04:45:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。