論文の概要: ActPrune: Action-Grounded Visual Token Pruning for Efficient Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2611.08827v2
- Date: Wed, 11 Nov 2026 08:35:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.858619
- Title: ActPrune: Action-Grounded Visual Token Pruning for Efficient Vision-Language-Action Models
- Title(参考訳): ActPrune:効率的な視覚・言語・行動モデルのためのアクション・グラウンド・ビジュアル・トーケン・プルーニング
- Abstract要約: トレーニング不要なトークンプルーニング手法であるActPruneを提案する。
視覚エンコーダの前方にプルーニング決定を移動させ、幾何学的に先行して接地する。
最大1.61$times$スピードアップと59.5%のFLOPを削減できる。
- 参考スコア(独自算出の注目度): 9.377642970890426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models perform versatile manipulation tasks from language instructions, but their inference cost limits how fast a robot can respond in closed-loop control. Visual token pruning reduces this cost; however, prior methods estimate token redundancy from encoded visual embeddings or attention, only after the visual encoder has processed the entire observation. We propose ActPrune, a training-free token pruning method that moves the pruning decision ahead of the vision encoder by grounding it in a geometric prior derived from the robot's own action. The action chunk predicted at the previous control step is already available before the current observation is encoded, and it specifies the end-effector and camera motion between consecutive observations. The same action affects the two standard camera views asymmetrically: in the fixed third-person view, ActPrune retains patches along the projected end-effector trajectory together with semantic anchors, while in the wrist view, it prunes patches that remain unchanged after compensating for the action-induced camera motion. Extensive experiments on two simulation environments (LIBERO and VLABench) and four real-robot tasks demonstrate that ActPrune achieves up to 1.61$\times$ speedup and 59.5% FLOPs reduction with negligible degradation in success rates. The project site is http://mmai.ewha.ac.kr/actprune/.
- Abstract(参考訳): 視覚言語アクション(VLA)モデルは、言語命令から汎用的な操作タスクを実行するが、ロボットがクローズドループ制御で応答する速度を制限する。
視覚的トークンプルーニングは、このコストを削減するが、以前の方法では、視覚的エンコーダが観察全体を処理した後のみ、トークンの冗長性を符号化された視覚的埋め込みや注意から推定する。
本稿では,ロボット自身の行動から派生した幾何学的先進的手法を用いて,視覚エンコーダの前方にプルーニング決定を移動させる,トレーニング不要なトークンプルーニング手法であるActPruneを提案する。
前の制御ステップで予測されたアクションチャンクは、現在の観察が符号化される前に既に利用可能であり、連続した観察の間にエンドエフェクタとカメラの動きを指定する。
固定された3人称ビューでは、ActPruneは投影されたエンドエフェクター軌道に沿ってパッチをセマンティックアンカーと共に保持し、手首ビューではアクション誘発カメラの動きを補償した後も変化しないパッチをプーンする。
2つのシミュレーション環境(LIBEROとVLABench)と4つの実ロボットタスクに関する大規模な実験は、ActPruneが最大1.61$\times$スピードアップと59.5%のFLOPs削減を達成し、成功率の無視できる低下を達成していることを示した。
プロジェクトのサイトはhttp://mmai.ewha.ac.kr/actprune/。
関連論文リスト
- T3R: Training-Free Two-Stage Token Refinement Towards Efficient and Robust VLA Models [33.91353014911186]
VLA(Vision-Language-Action)モデルは、エンドツーエンドのロボット制御を可能にするが、推論はますます高価になる。
トレーニングフリーの2段階Token RefinementフレームワークであるT3Rを提案する。
LIBERO-Spatialでは、T3Rはシーンカメラの視覚トークンの85%を取り除き、本質的に未実行の成功率と一致する。
LIBERO、SIMPLER、RoboTwinの3つのVLAバックボーンによる評価は、マルチカメラ設定において最も高い精度効率の利点を示している。
論文 参考訳(メタデータ) (2026-11-05T18:17:29Z) - Beyond Actions: Learning Future Operation Targets for Vision-Language-Action Models [56.97744308982891]
本稿では,将来的な物理的効果を政策の主要な予測対象とするアクション-フューチャー結合効果学習(AFCE)を紹介する。
AFCEは50.97%$で、それぞれ$_0.5$、UVTを11.82ポイント、UVTを15.21ポイント改善している。
論文 参考訳(メタデータ) (2026-10-09T08:29:46Z) - Learning to Act under Visual Interruptions with Vision-Language-Action Models [24.391879026948306]
視覚言語アクション(VLA)モデルは、ロボット操作において強力な能力を示している。
それらは通常、タスク実行を通じて利用可能なすべてのカメラストリームで開発され、評価される。
VLAモデルによる視覚的中断を評価するベンチマークであるMAIL-Benchを紹介する。
視覚的入力を欠く場合、まずVLAポリシーを継続するように訓練するMINTを提案する。
論文 参考訳(メタデータ) (2026-09-28T12:06:49Z) - GenVid2Robot: From Video Generation to Robot Manipulation via Rigid-Geometric Consistency [19.566368780107613]
GenVid2Robotは、生成されたビデオモーションを実行可能なリアルタイムロボット操作トラジェクトリに変換するフレームワークである。
実験により、GenVid2Robotは、視運動前兆を粗いメトリ幾何でグラウンドすることで、生成ビデオ誘導操作の信頼性を向上させることが示された。
論文 参考訳(メタデータ) (2026-07-10T08:32:47Z) - Contrastive Action-Image Pre-training for Visuomotor Control [91.5630572541332]
エンドエフェクタアクションのプロキシとして,大規模なエゴセントリックビデオからの人間の手ポーズを取り扱う視覚エンコーダであるCAIPを紹介する。
人間のビデオは32,041時間、ロボット操作のデータは88時間しかなく、CAIPは最先端の視覚エンコーダより優れています。
論文 参考訳(メタデータ) (2026-06-15T20:00:20Z) - ViPRA: Video Prediction for Robot Actions [33.310474967770894]
我々は、アクションレスビデオから連続ロボット制御を学ぶためのフレームワークViPRA(Video Prediction for Robot Actions)を提案する。
アクションを直接予測する代わりに、将来の視覚的観察と動き中心の潜伏行動の両方を予測するためにビデオ言語モデルを訓練する。
下流制御では,潜時動作をロボット固有の連続動作シーケンスにマッピングするチャンクフローマッチングデコーダを導入する。
論文 参考訳(メタデータ) (2025-11-11T01:33:03Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳(メタデータ) (2025-08-13T13:54:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。