論文の概要: SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
- arxiv url: http://arxiv.org/abs/2610.13740v1
- Date: Fri, 09 Oct 2026 15:34:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.655113
- Title: SmolWAM: A Latent World-Action Model for Robotic Manipulation on Edge Devices
- Title(参考訳): SmolWAM:エッジデバイス上のロボットマニピュレーションのための潜在ワールドアクションモデル
- Abstract要約: 世界行動モデル(WAM)は、ロボットの行動とそれらの行動が生み出す観察を予測します。
SmolWAMは2Bパラメータコスモスポリシーから導かれる潜在WAMである。
3.6GPU時間でトレーニングされたSmolWAMは、57msの400 LIBEROエピソードの95.5%、2.4 GiBのGPUメモリを持つ16アクションチャンク当たり2.3 TFLOPで成功している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: World-action models (WAMs) predict a robot's actions together with the observations those actions will produce. However, the strongest models rely on video diffusion transformers that are far too computationally expensive for resource-constrained edge devices. We present SmolWAM, a latent WAM that we derive from the 2B-parameter Cosmos Policy by keeping its pretrained trunk and rebuilding its inference interface: single-frame visual latents, cached text features that preserve the trunk's attention sinks, 12 of 28 transformer blocks, and 1,008 tokens from which actions and future visual latents are read out in one rectified-flow step. Trained in 3.6 GPU-hours, SmolWAM succeeds in 95.5% of 400 LIBERO episodes at 57 ms and 2.3 TFLOP per 16-action chunk with 2.4 GiB of GPU memory, 11x faster than its teacher with 18.5x fewer FLOPs and 3.2x less memory, and its world head still forecasts scene motion.
- Abstract(参考訳): 世界行動モデル(WAM)は、ロボットの行動とそれらの行動が生み出す観察を予測します。
しかし、最強のモデルは、リソース制約のあるエッジデバイスでは計算コストが非常に高いビデオ拡散トランスフォーマーに依存している。
SmolWAMは2Bパラメータコスモスポリシーから派生した潜在WAMであり、単フレーム視覚潜水器、トランクのアテンションシンクを保存するキャッシュされたテキスト特徴、28個のトランスフォーマーブロックの12個、そして、アクションと将来の視覚潜水器が1つの整流ステップで読み出される1,008個のトークンである。
3.6GPU時間でトレーニングされたSmolWAMは、57msの400 LIBEROエピソードの95.5%、2.4GiBのGPUメモリを持つ16アクションチャンクあたり2.3 TFLOP、教師より11倍速く18.5倍のFLOPと3.2倍のメモリを持つ。
関連論文リスト
- One from Infinity: Actualizing Futures from Pretrained World Models into Robot Actions [52.542279563757724]
映像の世界モデルでは、シーンの多くの有望な未来が認められるが、ロボットは正確なタスク条件に気付く必要がある。
我々は、このタスクを現実化として形式化し、フリーズワールドモデルによって提供された事前のタスク条件の選択と実現を学習する。
我々は,冷凍世界モデルエンコーダ上に,最大60万パラメータのRoboActualizerを実装した。
現実化器は2つの軽量なDiT専門家で構成されており、将来的な潜伏剤とフローマッチングによるアクションを共同で予測する。
論文 参考訳(メタデータ) (2026-09-29T00:05:24Z) - Grounded Action Model: 3D Grounding as a Foundation for Robotics [29.02274437902474]
Grounded Action Models (GAMs) は、3Dグラウンドで構築されたロボット基盤モデルの新たなパラダイムである。
RoboTwin 2.0では、50タスクの平均成功率は55.3%である(空間強制では52.0%)。
LIBERO-PROでは、16の摂動設定で61%(vs.53% for $_0.5$)の最先端の平均成功率を達成する。
論文 参考訳(メタデータ) (2026-09-20T20:35:39Z) - AcrossVAM1.0: Particle World Modeling for Text-Assisted Robot Video Prediction [14.556446786016787]
AcrossVAM1.0は、将来の予測をオブジェクト中心の動きと高密度な外観に分解する軽量なテキスト支援ビデオアクションモデルである。
因果的デュアルストリームデコーダは、最後のフレームからのみ符号化された外観とパーティクルレンダリングされた動きを結合する。
多様な実ロボット軌道から構築したVRSベンチマークでは、粒子動力学は持続性よりも誤差を21.0%削減する。
論文 参考訳(メタデータ) (2026-08-28T16:19:24Z) - DELE-w0.5: Inferring Action from Future Latent State for Robotic Manipulation [11.665741844323984]
我々は、ビデオ生成がワールドアクションモデリングの不要な目的であると主張している。
ロボット操作においては、世界モデルの目的は、中間の瞬間に世界がどのように見えるかを再現するのではなく、アクションの実行後に世界が到達する状態を予測することである。
本稿では,映像生成に頼らずに将来予測状態からロボット動作を推定するDELE-w0.5を提案する。
論文 参考訳(メタデータ) (2026-08-22T18:17:36Z) - DiT4DiT: Jointly Modeling Video Dynamics and Actions for Generalizable Robot Control [16.562259973551786]
本稿では,ビデオ拡散変換器とアクション拡散変換器を結合したエンドツーエンドのビデオ・アクション・モデルであるDiT4DiTを紹介する。
DiT4DiTは、再構成後のフレームに頼る代わりに、ビデオ生成プロセスから中間的なデノイング機能を抽出する。
これは最先端の結果を達成し、LIBEROでは98.6%、RoboCasa GR1では50.8%という平均的な成功率に達した。
論文 参考訳(メタデータ) (2026-03-11T06:03:53Z) - InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation [77.07565723756119]
InternVLA-A1は動的予測機能を備えた視覚言語モデルである。
我々は、実世界のロボットデータ、合成シミュレーションデータ、人間のビデオなどを用いて、これらのモデルを異種データソース上で事前訓練する。
InternVLA-A1を実世界の12のロボットタスクとシミュレーションベンチマークで評価した。
論文 参考訳(メタデータ) (2026-01-05T18:54:29Z) - Scaling Vision Transformers to 22 Billion Parameters [140.67853929168382]
Vision Transformers (ViT) は画像とビデオのモデリングに同じアーキテクチャを導入したが、まだほぼ同じ程度に拡張されていない。
本稿では,22Bパラメータ ViT (ViT-22B) の高効率かつ安定なトレーニング法を提案する。
ViT-22Bは、視界における"LLMライクな"スケーリングの可能性を示し、そこに到達するための重要なステップを提供する。
論文 参考訳(メタデータ) (2023-02-10T18:58:21Z) - EATFormer: Improving Vision Transformer Inspired by Evolutionary Algorithm [111.17100512647619]
本稿では、実証された実用的な進化的アルゴリズム(EA)と類似したビジョントランスフォーマーの合理性を説明する。
本稿では,EA ベースのトランス (EAT) ブロックのみを含む新しいピラミッド EATFormer バックボーンを提案する。
画像分類,下流タスク,説明実験に関する大規模かつ定量的な実験は,我々のアプローチの有効性と優位性を示すものである。
論文 参考訳(メタデータ) (2022-06-19T04:49:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。