Fugu-MT 論文翻訳(概要): Fast Enough to Act: Spatio-Temporal Visual Token Merging for Low-Latency Robotic VLMs and VLAs

論文の概要: Fast Enough to Act: Spatio-Temporal Visual Token Merging for Low-Latency Robotic VLMs and VLAs

arxiv url: http://arxiv.org/abs/2606.29350v1
Date: Sun, 28 Jun 2026 11:42:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-30 18:07:15.895031
Title: Fast Enough to Act: Spatio-Temporal Visual Token Merging for Low-Latency Robotic VLMs and VLAs
Title（参考訳）: 低遅延ロボットVLMとVLAのための時空間視覚トケリング
Abstract要約: 視覚言語モデルと視覚言語アクションモデルにより、ロボットには前例のない能力がある。ビデオや高解像度画像の入力は膨大な数の視覚トークンをもたらし、非常に高い推論遅延をもたらし、ロボットのリアルタイム制御を著しく妨げる。本稿では,視覚的エンコーディングフェーズにおいて,冗長トークンを直接効率的に融合するプラグイン・アンド・プレイフレームワークST-Mergeを提案する。
参考スコア（独自算出の注目度）: 21.02858354959528
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Vision-language models and vision-language action models endow the robot with unprecedented capabilities. However, the input of video and high-resolution images yields a massive number of visual tokens, leading to extremely high inference latency and severely hindering the robot's real-time control. To break through this computational bottleneck, we propose ST-Merge, a plug-and-play, training-free framework that efficiently fuses redundant tokens directly during the visual encoding phase. By explicitly constructing 3D spatiotemporal coordinates, it employs a multi-queue parallel matching and weighted aggregation mechanism to achieve efficient and geometrically consistent fusion of redundant tokens across frames. In addition, we introduce a post-merge positional correction mechanism that effectively eliminates spatial deviation caused by merging by dynamically re-evaluating the rotational position code of the weighted centroid of the vision token, thereby ensuring the high-precision spatial awareness required for dexterous operation. In the Video Question Answering task on the mainstream VLM, Qwen2.5-VL, ST-Merge achieves a 2$\times$ inference speedup with only a tiny 1\% loss in precision. When deployed on the $π_{0.5}$ VLA policy, ST-Merge achieves an 8.3$\times$ speedup at 1024 $\times$ 1024 resolution and matches the baseline success rate at this high-resolution setting. At lower resolutions, it introduces a small drop in accuracy.
Abstract（参考訳）: 視覚言語モデルと視覚言語アクションモデルにより、ロボットには前例のない能力がある。しかし、ビデオや高解像度画像の入力は膨大な数の視覚トークンをもたらし、非常に高い推論遅延をもたらし、ロボットのリアルタイム制御を著しく妨げる。この計算ボトルネックを突破するために,視覚符号化フェーズ中に冗長トークンを直接効率的に融合する,プラグアンドプレイのトレーニングフリーフレームワークST-Mergeを提案する。 3次元時空間座標を明示的に構成することにより、フレーム間の冗長トークンの効率的かつ幾何学的に一貫した融合を実現するために、マルチキュー並列マッチングと重み付け集約機構を用いる。さらに,視覚トークンの重み付きセントロイドの回転位置符号を動的に再評価することにより,重み付けによる空間偏差を効果的に解消する。メインストリームVLMのビデオ質問回答タスクであるQwen2.5-VLでは、ST-Mergeが2$\times$推論スピードアップを達成した。 π_{0.5}$ VLA ポリシにデプロイされると、ST-Merge は 1024 $\times$ 1024 $\times$ 1024 で 8.3$\times$ のスピードアップを達成し、この高解像度設定でベースラインの成功率と一致する。解像度が低いと、精度が低下する。

関連論文リスト

Reducing Temporal Redundancy for Efficient Vision-Language-Action Inference [19.683948028719808]
VLA(Vision-Language-Action)モデルは、ロボット操作の強力な一般化を示すが、その高い推論遅延はリアルタイムデプロイメントを制限する。本稿では,知覚と行動生成の両面での計算量を削減するシステムレベル加速戦略を提案する。 Libero、RobotWin、Real Robot Platformsの実験では、ハイパフォーマンスを維持しながら、2倍以上のスピードアップを実証している。
論文参考訳（メタデータ） (2026-07-14T02:48:31Z)
Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。 Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
論文参考訳（メタデータ） (2026-07-10T06:52:09Z)
ReactVLA: Fast and Lightweight Reactive Robot Manipulation via Improved Mean Flow Action Generation [6.976481623762446]
textttReactVLAは、リアルタイムロボット操作のための軽量で低レイテンシなVLAフレームワークである。 textttReactVLAは、同じサイズのVLAベースラインを一貫して上回る。現実世界のポリシーのレイテンシを38.6ミリ秒以下に短縮し、物理ロボットプラットフォームでの高速な反応性制御を可能にする。
論文参考訳（メタデータ） (2026-06-12T08:33:37Z)
REALM: Retrospective Encoder Alignment for LFP Modeling [2.8036525859094823]
スパイク活動は、その空間分解能と時間分解能が高いため、行動復号において支配的な神経信号である。脳-コンピュータインタフェース(BCI)が高チャネル数や無線操作へと移動するにつれ、スパイク信号の高サンプリング周波数がボトルネックとなる。本稿では,因果LFPデコードを可能にする振り返り蒸留フレームワークREALMを提案する。
論文参考訳（メタデータ） (2026-05-14T14:16:22Z)
DA-PTQ: Drift-Aware Post-Training Quantization for Efficient Vision-Language-Action Models [61.26694413585136]
DA-PTQ (Drift-Aware Post-Training Quantization) は、逐次決定過程に対するドリフト-アウェア最適化問題として量子化を定式化する。 DA-PTQはキネマティックドリフトを著しく低減し、低ビット設定下での完全精度モデルに匹敵する性能を達成する。
論文参考訳（メタデータ） (2026-04-13T14:51:43Z)
DexWorldModel: Causal Latent World Modeling towards Automated Learning of Embodied Tasks [54.32016216994156]
本稿では,DINOv3特徴を生成対象として用い,視覚ノイズから相互作用意味を乱す因果潜在世界モデル(CLWM)を提案する。メモリスケーリングを克服するため、CLWMはDual-State Test-Time Training (TTT)メモリを備えている。 EmbodiChainは、トレーニング中に物理基底軌道の無限の流れを注入することによって効率法を確立するオンラインフレームワークである。
論文参考訳（メタデータ） (2026-04-13T03:19:36Z)
Q-Zoom: Query-Aware Adaptive Perception for Efficient Multimodal Large Language Models [41.32939197803798]
Q-Zoomはクエリ対応の適応型高解像度認識フレームワークである。軽量ゲーティングネットワークは、粗いグローバルな特徴が十分である場合に、高解像度処理を安全にバイパスする。自己蒸留領域ネットワークは、中間特徴空間からタスク関連領域を正確にローカライズする。
論文参考訳（メタデータ） (2026-04-08T10:12:30Z)
$D^3$-RSMDE: 40$\times$ Faster and High-Fidelity Remote Sensing Monocular Depth Estimation [72.9912717963138]
リモートセンシング画像からのリアルタイムで高忠実な単眼深度推定は、多くのアプリケーションにとって不可欠である。視覚変換器(ViT)のバックボーンを高密度な予測に使用するのは速いが、知覚品質は低いことが多い。リモートセンシング単眼深度推定のための深度詳細拡散法(D3$-RSMDE)を提案する。 D3$-RSMDEは、Learninged Perceptual Image Patch similarity (LPIPS)の知覚距離を11.85%削減する。
論文参考訳（メタデータ） (2026-03-17T10:50:36Z)
Towards Lossless Ultimate Vision Token Compression for VLMs [11.485425012979052]
Lossless Ultimate Vision tokens Compression (LUVC)フレームワークが提案されている。 LUVCは、言語モデルの最終層で完全に除去されるまで、ビジュアルトークンを圧縮する。実験の結果,LUVCは言語モデルにおいて2つの高速化推定を達成し,精度の劣化を無視できることがわかった。
論文参考訳（メタデータ） (2025-12-09T15:40:13Z)
H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers [124.11648300910444]
Heerarchical Hourglass Tokenizer (H$_2$OT) と呼ばれる階層的なプラグアンドプレイプルーニング&ドル回復フレームワークを提案する。提案手法は汎用的であり,Seq2seqおよびSeq2frameパイプラインの共通VPTモデルに容易に組み込むことができる。
論文参考訳（メタデータ） (2025-09-08T17:59:59Z)
R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
論文参考訳（メタデータ） (2025-07-23T08:14:36Z)
SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
論文参考訳（メタデータ） (2025-06-15T05:04:17Z)
FastVLM: Efficient Vision Encoding for Vision Language Models [22.41836943083826]
我々は,レイテンシ,モデルサイズ,精度のトレードオフを最適化したモデルであるFastVLMを紹介する。 FastVLMには、より少ないトークンを出力するように設計された新しいハイブリッドビジョンエンコーダであるFastViTHDが組み込まれている。 LLaVA-1.5では、FastVLMは3.2$times$改善された。
論文参考訳（メタデータ） (2024-12-17T20:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。