論文の概要: VLA-Cache: Towards Efficient Vision-Language-Action Model via Adaptive Token Caching in Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2502.02175v1
• Date: Tue, 04 Feb 2025 09:48:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:00.806078
• Title: VLA-Cache: Towards Efficient Vision-Language-Action Model via Adaptive Token Caching in Robotic Manipulation
• Title（参考訳）: VLAキャッシュ:ロボットマニピュレーションにおける適応的トークンキャッシングによる高能率ビジョン・ランゲージ・アクションモデル
• Authors: Siyu Xu, Yunke Wang, Chenghao Xia, Dihao Zhu, Tao Huang, Chang Xu,
• Abstract要約: VLA(Vision-Language-Action)モデルでは、命令と視覚知覚を処理して、出力としてアクションを直接生成することができる。 これにより、ロボットタスクにVLAモデルを適用する上での課題が提起される。 自然な考え方は、変化のない視覚トークンの計算結果を最終段階から再利用することである。 VLA-Cacheにはトークン選択機構が組み込まれており、各ステップにおける視覚的入力と前ステップからの入力を比較し、最小限の変更で視覚的トークンを適応的に識別する。
• 参考スコア（独自算出の注目度）: 18.835626225341578
• License:
• Abstract: Vision-Language-Action (VLA) model can process instructions and visual perception to directly generate actions as output in an end-to-end fashion due to its strong multi-modal reasoning capabilities. While the performance of VLA models is promising, their computational cost can be substantial. This raises challenge for applying them on robotics tasks, which requires real-time decision-making to respond quickly to environmental changes. Since robotic control involves sequential decision-making, the visual input often exhibits minimal variation between successive steps. A natural idea is to reuse the computational results of unchanged visual tokens from the last step. Motivated by this idea, we propose VLA-Cache, an efficient vision-language-action model. VLA-Cache incorporates a token-selection mechanism that compares the visual input at each step with the input from the previous step, adaptively identifying visual tokens with minimal changes. The computational results for these unchanged tokens are then reused in subsequent steps via KV-cache, thereby significantly improving the efficiency of the VLA-Cache model. Experimental results on both simulation (e.g., LIBERO benchmark and SIMPLER) and real-world robot valid VLA-Cache can achieve practical acceleration with minimal sacrifice in success rate.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、命令と視覚知覚を処理して、その強力なマルチモーダル推論能力のため、エンドツーエンドで出力としてアクションを直接生成することができる。 VLAモデルの性能は期待できるが、その計算コストはかなり高い。 これにより、ロボットのタスクにそれらを適用するためには、リアルタイムの意思決定が環境の変化に迅速に対応する必要がある。 ロボット制御はシーケンシャルな意思決定を伴うため、視覚的な入力はしばしば連続するステップ間の最小限のばらつきを示す。 自然な考え方は、変化のない視覚トークンの計算結果を最終段階から再利用することである。 このアイデアに触発されて,効率的な視覚-言語-アクションモデルであるVLA-Cacheを提案する。 VLA-Cacheにはトークン選択機構が組み込まれており、各ステップにおける視覚的入力と前ステップからの入力を比較し、最小限の変更で視覚的トークンを適応的に識別する。 これらの変化しないトークンの計算結果は、KV-cacheを介してその後のステップで再利用され、VLA-Cacheモデルの効率が大幅に向上する。 シミュレーション(例えば、LIBEROベンチマークとSIMPLER)と実世界の有効なロボットVLAキャッシュの両方の実験結果により、成功率の犠牲を最小限に抑えることができる。

関連論文リスト

• Latent Action Pretraining from Videos [156.88613023078778]
  一般行動モデル(LAPA)のための潜在行動事前訓練について紹介する。 LAPA(英: LAPA)は、VLA(Vision-Language-Action)モデルに接地型ロボットアクションラベルを含まない教師なしの訓練方法である。 本稿では,ロボットアクションラベルを持たないインターネット規模のビデオから学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-15T16:28:09Z)
• big.LITTLE Vision Transformer for Efficient Visual Recognition [34.015778625984055]
  big.LITTLE Vision Transformerは、効率的な視覚認識を実現するための革新的なアーキテクチャである。 システムは、大きなパフォーマンスブロックとLITTLE効率ブロックの2つの異なるブロックで構成されている。 画像処理では,各トークンの重要度を判定し,それに応じて割り当てる。
  論文  参考訳（メタデータ） (2024-10-14T08:21:00Z)
• Run-time Observation Interventions Make Vision-Language-Action Models More Visually Robust [9.647148940880381]
  視覚言語アクション(VLA)モデルは、大規模なインターネットデータとロボットのデモンストレーションに基づいて訓練され、汎用的なロボットポリシーとして機能する可能性がある。 本稿では,入力画像の領域を動的に識別するリアルタイム介入方式である bring Your Own VLA (BYOVLA) を紹介する。 我々は,BYOVLAが最先端のVLAモデルに対して,邪魔な対象や背景が存在する場合に,その名目上の性能をほぼ維持できることを示す。
  論文  参考訳（メタデータ） (2024-10-02T19:29:24Z)
• Exploring Token Pruning in Vision State Space Models [38.122017567843905]
  状態空間モデル(SSM)は、変圧器の注意モジュールと比較して線形計算の複雑さを維持する利点がある。 我々はトークンベースのプルーニングにより、SSMベースの視覚モデルの効率を向上する新たなステップを採っている。 刈り取られたPlainMamba-L3のFLOPを41.6%削減して、ImageNetの81.7%の精度を実現した。
  論文  参考訳（メタデータ） (2024-09-27T17:59:50Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning [59.13366859237086]
  大規模視覚言語(VL)モデルを効率的に構築するための現在のソリューションは、2段階のパラダイムに従う。 視覚情報に関連するタスクに対処する際の言語モデルを容易にする追加知識として視覚的プロンプトを考察する。 本稿では,視覚的知識注入のためのFFNの重み付けにより視覚的プロンプトを記憶する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-09T08:23:20Z)
• An Image is Worth 1/2 Tokens After Layer 2: Plug-and-Play Inference Acceleration for Large Vision-Language Models [65.37846460916042]
  視覚的トークンに対する注意計算は,LVLMの深い層において極めて非効率であることがわかった。 本稿では,計算効率の最適化を目的とした多用途プラグアンドプレイ方式であるFastVを紹介する。
  論文  参考訳（メタデータ） (2024-03-11T14:35:32Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)
• An Efficient and Scalable Collection of Fly-inspired Voting Units for Visual Place Recognition in Changing Environments [20.485491385050615]
  ローオーバーヘッドのVPR技術は、ローエンドの安価なハードウェアを搭載したプラットフォームを可能にする。 我々のゴールは、外観変化と小さな視点変化に対する最先端のロバスト性を達成しつつ、極端なコンパクト性と効率のアルゴリズムを提供することである。
  論文  参考訳（メタデータ） (2021-09-22T19:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。