論文の概要: Sparse-WAM: Accelerating World Action Models via Action-Guided Sparse Imagination
- arxiv url: http://arxiv.org/abs/2609.38984v1
- Date: Wed, 30 Sep 2026 05:02:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.197135
- Title: Sparse-WAM: Accelerating World Action Models via Action-Guided Sparse Imagination
- Title（参考訳）: Sparse-WAM:Action-Guided Sparse Imaginationによる世界行動モデルの加速
- Abstract要約: ワールドアクションモデル(WAM)は、事前訓練されたビデオモデルを利用して、将来の視覚状態とアクションを共同で予測することで、ロボット制御の一般化を改善する。
従来の方法では、ビデオ拡散モデルにおけるノイズ発生コストを低減するために、視覚的忠実度を優先するトークンプルーニングによってこの問題に対処する。
本稿では,WAM推論を高速化するために,将来のフレームトークンを選択的に処理するアクション誘導スパースイマジネーションのためのトレーニングフリーフレームワークであるSparse-WAMを提案する。
- 参考スコア（独自算出の注目度）: 23.46985924773128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World-action models (WAMs) leverage pretrained video models to improve generalization in robot control by jointly predicting future visual states and actions. This capability comes at a substantial inference cost, as dense future-frame tokens are repeatedly processed during denoising. Prior methods address this by token pruning that prioritizes visual fidelity to reduce denoising costs in video diffusion models. However, these methods do not use action relevance to determine which future-frame tokens to retain during joint denoising in WAMs. In this paper, we propose Sparse-WAM, a training-free framework for action-guided sparse imagination that selectively processes future-frame tokens to accelerate WAM inference. We observe substantial overlap in the spatial distribution of attention from action tokens to future-frame tokens (action-to-future attention) between consecutive denoising steps, despite continued updates to the future representations. Motivated by this, we develop Action-Guided Token Selection to retain frame-specific action-relevant regions together with cross-frame context. However, a naive implementation can incur attention-scoring and token-packing overhead that offsets the computational savings from pruning. We therefore introduce Pilot, an efficient engine that reduces sparse inference overhead through lightweight scoring and cross-step reuse of token selections. On LIBERO with FastWAM-Joint and RoboLab-120 with Cosmos 3 Edge, Sparse-WAM achieves inference speedups of approximately $2.0\times$ and $1.8\times$, respectively, over dense eager inference on an NVIDIA RTX 4090, while largely preserving task performance.
- Abstract（参考訳）: ワールドアクションモデル(WAM)は、事前訓練されたビデオモデルを利用して、将来の視覚状態とアクションを共同で予測することで、ロボット制御の一般化を改善する。
この機能は、denoising中に高密度のFuture-frameトークンが繰り返し処理されるため、かなり推論コストがかかる。
従来の方法では、ビデオ拡散モデルにおけるノイズ発生コストを低減するために、視覚的忠実度を優先するトークンプルーニングによってこの問題に対処する。
しかし、これらの手法は、WAMにおける関節装飾中にどのフレームトークンが保持されるかを決定するためにアクション関連性を使用しない。
本稿では、WAM推論を高速化するために、将来的なフレームトークンを選択的に処理するアクション誘導スパースイマジネーションのためのトレーニングフリーフレームワークであるSparse-WAMを提案する。
本研究では,アクショントークンから将来のフレームトークン(アクション・ツー・フューチャー・アテンション)への注意の空間分布の連続的な重なりを観察する。
そこで我々は、フレーム固有のアクション関連領域をフレーム間コンテキストとともに保持するアクションガイド型トークン選択法を開発した。
しかし、単純な実装は注意マークやトークンパッキングのオーバーヘッドを発生させ、計算の貯蓄をプルーニングからオフセットする。
そこで我々は,トークン選択の軽量スコアリングとクロスステップ再利用により,スパース推論オーバーヘッドを低減する効率的なエンジンであるPilotを導入する。
LIBERO with FastWAM-Joint と RoboLab-120 with Cosmos 3 Edge では、Sparse-WAM はおよそ$2.0\times$ と $1.8\times$ の推論スピードアップを達成する。
関連論文リスト
- MotionWeave: Learning Motion-Centered Future Dynamics for Vision-Language-Action Policies [4.2500636748409715]
2つのモジュールによるアクションチャンク予測のための動き中心の未来の力学フレームワークであるMotionWeaveを提案する。
AIMGは、現在の視覚トークンから、将来のアクションタイムステップに関連付けられた相互作用領域をローカライズする水平固有のクエリを構築するために、アクションとプロプリセプティブ表現に関する条件を定めている。
HRCは隣接地平線における相互作用表現の差異を抽出し、それらを時間的動きキューとしてエンコードし、ゲートされた残留物を介してアクショントークンに注入する。
6つのMetaWorldタスクにおいて、MotionWeaveは75.3%の平均的な成功率を達成した。
論文 参考訳（メタデータ） (2026-09-30T09:00:28Z) - What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling [60.33876128319945]
世界行動モデル(WAM)は、トレーニング中の行動と共に未来を予測する。
WAMは、分散処理タスクにおいて明示的なタスクと一致するが、もともとWAMを動機付けていた一般化の利点を保たないことがわかった。
提案するSimple-WAMは,将来のモデリングを完全ノイズ付きビデオトークンの1つの前方通過に単純化する。
論文 参考訳（メタデータ） (2026-09-28T11:56:57Z) - StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。
追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。
メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文 参考訳（メタデータ） (2026-08-26T17:33:19Z) - Faster-WAM: Efficient Inference-Time Future Conditioning for Robust World Action Models [40.0682886050991]
世界行動モデル(WAM)は、現在の観察を超えて環境がどのように進化するかを学ぶことで、ロボット操作を改善する。
ジョイントWAMは、推論中に将来の認識表現を保持するが、計算コストは不当である。
分布シフト下での一般化には,予測時将来の条件付けが不可欠であることを示す。
論文 参考訳（メタデータ） (2026-08-05T03:18:58Z) - NoiseGate: Learning Per-Latent Timestep Schedules as Information Gating in World Action Models [19.272356473995245]
World Action Models (WAM) は、ロボットアクション生成と将来の観測モデリングを結びつけるポリシーである。
NoiseGateは軽量なゲーティングポリシーネットワークで、遅延時間当たりのインクリメントをデノイング中に出力する。
NoiseGateは多様なRoboTwinランダムシーン操作タスクに対して一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-08T14:31:52Z) - Reward Forcing: Efficient Streaming Video Generation with Rewarded Distribution Matching Distillation [69.57572900337176]
本稿では,効率的なストリーミングビデオ生成のための新しいフレームワークであるReward Forcingを紹介する。
EMA-Sinkトークンは、長期コンテキストと最近のダイナミクスの両方をキャプチャし、初期フレームコピーを防ぐ。
Re-DMDは、視覚言語モデルにより評価されたより大きなダイナミックスを持つサンプルを優先順位付けすることで、モデル出力分布を高逆領域にバイアスする。
論文 参考訳（メタデータ） (2025-12-04T11:12:13Z) - ZSPAPrune: Zero-Shot Prompt-Aware Token Pruning for Vision-Language Models [7.7352936204066]
本稿では,タスク関連性と情報多様性のバランスとして,視覚トークンプルーニングをモデル化する新しいゼロショット手法を提案する。
本手法は,精度の低下を最小限に抑えて,最先端技術に適合または超越した性能を実現する。
これらのゲインには、GPUメモリフットプリントの大幅な削減と推論レイテンシが伴っている。
論文 参考訳（メタデータ） (2025-10-20T06:18:47Z) - OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。
その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
論文 参考訳（メタデータ） (2025-10-08T03:55:24Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳（メタデータ） (2025-06-24T17:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。