論文の概要: HiLo-WAM: Decoupling Long-Horizon Task Evolution and Local Dynamics in World Action Models
- arxiv url: http://arxiv.org/abs/2611.05023v1
- Date: Tue, 03 Nov 2026 15:02:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 15:00:44.786209
- Title: HiLo-WAM: Decoupling Long-Horizon Task Evolution and Local Dynamics in World Action Models
- Title(参考訳): HiLo-WAM:世界行動モデルにおける長期タスク進化と局所ダイナミクスの分離
- Abstract要約: World Action Models (WAM)は、視覚力学とロボットの動作を共同でモデル化することで、ロボット操作を改善する。
局所的な視覚力学から長期タスクの進化を分離するHiLo-WAMを提案する。
我々は,HiLo-WAMがRoboTwin 2.0における平均成功率93.70%,RoboDojo長軸タスクにおける17.43の進捗スコアを達成したことを示す。
- 参考スコア(独自算出の注目度): 20.10382294539462
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World Action Models (WAMs) improve robotic manipulation by jointly modeling visual dynamics and robot actions. However, most existing WAMs model dense short-horizon visual dynamics, capturing local interactions but providing limited long-range task context. Extending prediction horizons increases uncertainty and computation while entangling task-level evolution with fine-grained local dynamics, obscuring their dependencies and distinct roles in action generation. We propose HiLo-WAM, which decouples long-horizon task evolution from local visual dynamics while jointly modeling their interaction with robot actions. A sparse long-horizon visual stream captures historical task context and future evolution, while a dense local dynamics visual stream models short-horizon robot-object interactions. The two streams operate at different temporal scales within a unified dual-DiT architecture and guide actions through structured cross-stream attention. Progressive inference further reduces unnecessary computation through stream-wise partial denoising, joint denoising, and dynamic skipping. Experiments demonstrate strong long-horizon manipulation performance: HiLo-WAM achieves a 93.70% average success rate on RoboTwin 2.0 and a 17.43 progress score on RoboDojo long-horizon tasks, with robust in-domain and OOD performance on the Fourier GR-3 robot. Ablations confirm the complementary contributions of long-horizon task evolution and local interaction dynamics, while temporal-scale analyses highlight the importance of balancing temporal coverage and resolution. Progressive inference further achieves a 2.93x speedup while improving performance.
- Abstract(参考訳): World Action Models (WAM)は、視覚力学とロボットの動作を共同でモデル化することで、ロボット操作を改善する。
しかし、既存の WAM モデルのほとんどは、局所的な相互作用を捉えながら、限られた長距離タスクコンテキストを提供する、高密度な短水平視覚力学をモデル化している。
予測地平線の拡張は、タスクレベルの進化をきめ細かな局所的ダイナミクスと絡み合う一方で、不確実性と計算を増大させ、それらの依存関係とアクション生成における異なる役割を隠蔽する。
ロボットの動作と相互作用を協調的にモデル化しながら、局所的な視覚力学から長時間のタスク進化を分離するHiLo-WAMを提案する。
疎密な長距離視覚ストリームは過去のタスクコンテキストと将来の進化を捉え、密集した局所的ダイナミックス視覚ストリームは短水平ロボットとオブジェクトの相互作用をモデル化する。
2つのストリームは、統合された双対DiTアーキテクチャ内で異なる時間スケールで動作し、構造化されたクロスストリームアテンションを通してアクションを誘導する。
プログレッシブ推論は、ストリームワイド部分雑音化、関節雑音化、ダイナミックスキップによる不要な計算をさらに削減する。
HiLo-WAMはRoboTwin 2.0で平均93.70%の成功率を獲得し、RoboDojoの長距離タスクで17.43の進歩スコアを達成し、Fourier GR-3ロボットでは堅牢なドメイン内およびOODのパフォーマンスを示した。
アブレーションは、長期的タスク進化と局所的相互作用のダイナミクスの相補的な寄与を裏付ける一方で、時間スケール分析は、時間的カバレッジと解決のバランスの重要性を強調している。
プログレッシブ推論はパフォーマンスを改善しながらさらに2.93倍のスピードアップを達成する。
関連論文リスト
- TS-Mask VLA: 2D Temporal-Spatial Masking for Vision-Language-Action Model with Effective Bridging [18.666233973595762]
TS-Mask VLAはロボット操作のための視覚言語アクションフレームワークである。
本手法は,(1)ブリッジアテンションコンディショニングブリッジを備えた離散アクションエキスパート,(2)時空間2Dマスキング戦略の2つの重要な設計に基づいて構築されている。
0.5Bパラメータしか持たない平均的な成功率は9%に達し、かなり大きなモデルを上回る。
論文 参考訳(メタデータ) (2026-07-10T07:06:02Z) - S$^2$-VLA: State-Space Guided Vision-Language-Action Models for Long-Horizon Manipulation [34.73337776403718]
VLA(Vision-Language-Action)モデルは、ロボット操作において強力な能力を示しているが、その性能は長距離作業では著しく低下している。
本稿では,SSGAA(State-Space Guided Adaptive Attention)機構を導入するフレームワークであるS$2$-VLAを提案する。
S$2$-VLAは、より大きな7Bスケールモデルより一貫して優れており、ロングホライゾンのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-06-26T09:13:16Z) - AHA-WAM:Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing [45.6226084109777]
本稿では,Diffusion Transformer (DiT) アーキテクチャ上に構築されたAHA-WAM(Asynchronous Horizon-Adaptive World-Action Model)を提案する。
AHA-WAMはロボットデータの事前学習なしに最先端のパフォーマンスを達成し、RoboTwinで平均92.80%、実世界の4つのタスクで78.3%の成功を達成した。
論文 参考訳(メタデータ) (2026-06-08T17:55:18Z) - RotVLA: Rotational Latent Action for Vision-Language-Action Model [54.22746299071677]
本稿では,連続的な回転潜在動作表現に基づくVLAフレームワークであるRotVLAを紹介する。
潜在作用はSO(n) の元としてモデル化され、連続性、構成性、および実世界の作用力学と整合した構造的幾何学を提供する。
RotVLAはVLMバックボーンとフローマッチングアクションヘッドで構成される。
論文 参考訳(メタデータ) (2026-05-13T11:58:02Z) - VLA-RAIL: A Real-Time Asynchronous Inference Linker for VLA Models and Robots [5.308743386891208]
VLA(Vision-Language-Action)モデルは、ロボット工学において画期的な進歩を遂げた。
連続したアクションチャンクのキューを融合する戦略は、VLAモデル全体のパフォーマンスに大きな影響を与える。
既存の方法は、ロボットアクションの実行時にジッタ、ストール、あるいは停止に悩まされる。
本稿では,モデル推論とロボット動作制御を非同期に行うように設計された新しいフレームワークであるVLA-RAILを紹介する。
論文 参考訳(メタデータ) (2025-12-31T06:59:42Z) - SP-VLA: A Joint Model Scheduling and Token Pruning Approach for VLA Model Acceleration [70.72227437717467]
VLA(Vision-Language-Action)モデルは、その強力な制御能力に注目が集まっている。
計算コストが高く、実行頻度も低いため、ロボット操作や自律ナビゲーションといったリアルタイムタスクには適さない。
本稿では,共同スケジューリングモデルとプルーニングトークンにより,VLAモデルを高速化する統一フレームワークSP-VLAを提案する。
論文 参考訳(メタデータ) (2025-06-15T05:04:17Z) - Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy [73.75271615101754]
本稿では,Transformerアーキテクチャを活用した拡張性のあるフレームワークであるDitaについて紹介する。
Ditaはコンテキスト内コンディショニング(context conditioning)を採用しており、歴史的観察から生の視覚トークンと識別されたアクションをきめ細やかなアライメントを可能にする。
Ditaは、さまざまなカメラパースペクティブ、観察シーン、タスク、アクションスペースの横断的なデータセットを効果的に統合する。
論文 参考訳(メタデータ) (2025-03-25T15:19:56Z) - Diffusion Transformer Policy [48.50988753948537]
本稿では,拡散変圧器ポリシー(Diffusion Transformer Policy)と呼ばれる多モード拡散変圧器を提案し,連続的なエンドエフェクタ動作をモデル化する。
トランスのスケーリング機能を活用することで、提案手法は、多種多様なロボットデータセットにわたる継続的エンドエフェクタアクションを効果的にモデル化することができる。
論文 参考訳(メタデータ) (2024-10-21T12:43:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。