論文の概要: SmoLSTM: A Compact Vision-Language-Action Model with Recurrent Memory that Persists
- arxiv url: http://arxiv.org/abs/2609.22854v1
- Date: Sat, 19 Sep 2026 07:48:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.574474
- Title: SmoLSTM: A Compact Vision-Language-Action Model with Recurrent Memory that Persists
- Title(参考訳): SmoLSTM: パーシッシブなリカレントメモリを備えたコンパクトビジョンランゲージ・アクションモデル
- Abstract要約: 視覚言語-アクションモデルは、しばしば現在の観察のみから行動を予測する。
SmoLSTMは凍結した256MパラメータのSmolVLMバックボーンをマトリックスメモリLSTM制御層に結合する。
フローマッチングアクションヘッドは、各制御ステップで10個のエンドエフェクタのチャンクがデルタとグッパーコマンドをポーズするのを予測する。
- 参考スコア(独自算出の注目度): 10.689090352457177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action models often predict actions from only the current observation, which can leave tasks involving object occlusion or visually identical objects ambiguous without episode history. The usual countermeasure, widening the observation window, turns the horizon into a hyperparameter and lets per-step cost grow with it. We instead capture the episode in a recurrent state. SmoLSTM couples a frozen 256M-parameter SmolVLM backbone to a matrix-memory LSTM control layer in which observation tokens and action queries are unified in a single causal stream that is never reset throughout the entire episode. Recurrent-state storage is therefore O(1) in episode length. A flow-matching action head predicts chunks of 10 end-effector pose deltas and gripper commands at each control step. Our single policy, trained jointly on 7,461 demonstrations across 140 tasks and evaluated on held-out initial states, performs best, reaching 85.1% subgoal coverage and 77.5% full-task success on LIBERO-Mem with 0.04B trainable parameters, surpassing both the benchmark's own object-centric baseline and recent memory-based approaches. Resetting the recurrent state at every control step reduces full-task success to 7.0%, showing that the trained policy relies on context carried between decisions. The same model achieves 79.6% average success on standard LIBERO.
- Abstract(参考訳): 視覚言語アクションモデルは、しばしば現在の観察のみから行動を予測するが、それは、被写体を包含するタスクや、エピソード履歴なしで視覚的に同一の物体を曖昧に残すことができる。
通常の対策は、観測窓を広げ、地平線をハイパーパラメータに変え、ステップごとのコストを増大させる。
その代わりに、そのエピソードを繰り返す状態にします。
SmoLSTMは256MパラメータのSmolVLMバックボーンをマトリックスメモリLSTMコントロール層に結合し、観察トークンとアクションクエリはエピソード全体を通してリセットされない単一の因果ストリームに統一される。
したがって、リカレントステートストレージは、エピソード長のO(1)である。
フローマッチングアクションヘッドは、各制御ステップで10個のエンドエフェクタのチャンクがデルタとグッパーコマンドをポーズするのを予測する。
140のタスクにわたる7,461のデモを共同でトレーニングし、保持された初期状態で評価し、85.1%のサブゴールカバレッジを獲得し、0.04Bのトレーニング可能なパラメータを持つLIBERO-Memで77.5%のフルタスク成功を達成した。
各コントロールステップでリカレントステートをリセットすると、フルタスクの成功率が7.0%に低下する。
同じモデルは標準のLIBEROで平均79.6%の成功を達成した。
関連論文リスト
- Shared Execution-Clock Drifting Policy for Dynamic Precision Manipulation [2.44955840609554]
実行リズムは、ロボットが期限前に一連の調整を完了しなければならない場合に重要である。
本稿では、実行リズムを1ステップのアクション生成の明示的な部分とする共有実行クロックドリフト(SECD)を提案する。
NVIDIA Thor を用いた 4 つの実ロボットタスクを対象としたSECD の評価を行った。
論文 参考訳(メタデータ) (2026-09-20T02:42:31Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳(メタデータ) (2026-09-17T01:24:51Z) - GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation [63.853929983870955]
本稿では,ジェニー・エンスペクタ法 2.0 (GE-Act 2.0) について紹介する。
制御指向オートエンコーダ(CoAE)、ワンステップビジュアルプランナー(SVP)、逆ダイナミクスモデル(IDM)を組み合わせている。
それらのコンポーネントは、知識に整合した選択最適化(KASO)で共同で訓練され、記録された行動に適合していると判断された予測された未来のみを選択することで、ミスマッチした監視を減らす。
論文 参考訳(メタデータ) (2026-09-04T17:16:48Z) - LM-X: Explainable Action Modeling with Progress, Event, and Uncertainty Prediction for Generalist Robot Manipulation [28.431160101245837]
一般視覚-言語行動(VLA)政策は、主に短期水平行動予測を通じて長期水平行動を学ぶ。
我々は,解剖学的対応を主張することなく,タスク,イベント,運動の規模にわたって予測を整理するLM-Xを紹介する。
論文 参考訳(メタデータ) (2026-08-26T13:05:29Z) - PonderPounce: A Pretrained MLLM as an Episode Context Engine for Robot Control [25.920573627524945]
PonderPounceはMLLMのネイティブ因果コンテキストをロボットメモリとして再利用する。
パウンスは現在の観察、指示、受容を直接受け取ります。
ベーススケールのトレーニングデータを持つRoboMMEでは、PonderPounceは同じPounceアーキテクチャとインターフェースの下で、9Bで60.83%、0.8Bで50.04%に達する。
論文 参考訳(メタデータ) (2026-08-25T06:24:36Z) - Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models [51.21958617138889]
自己認識スケジューリングは、軽量な順序ポリシーを学び、任意の順序と半自己回帰デコーディングの両方にシームレスに適用する。
1B MDMのスドクでは、SASはパズルの精度を82.0%(ベストスケジュール)から91.8%に改善し、第2ステージの微調整で97.5%に達する。
LLaDA-8Bの数学的推論では、ASSはGSM8Kのpass@1を64%から76%に改善し、MBPPは39.5%から41%に改善した。
論文 参考訳(メタデータ) (2026-06-22T16:32:25Z) - Grounded World Model for Semantically Generalizable Planning [94.53923128709965]
我々は、視覚言語対応の潜在空間において、グラウンドドワールドモデル(GWM)を学習する。
提案された各アクションは、タスク命令に対する将来の結果がどの程度近いかに基づいてスコアされる。
提案したWISERベンチマークでは、GWM-MPCはテストセットで87%の成功率を達成した。
論文 参考訳(メタデータ) (2026-04-13T17:25:41Z) - Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。
GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。
LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
論文 参考訳(メタデータ) (2026-02-22T15:39:34Z) - Localizing Task Information for Improved Model Merging and Compression [61.16012721460561]
我々は,各タスクの重み付けが重なり合わないことが多いため,各タスクがマージされた後も,各タスクの解決に必要な情報が保存されていることを示す。
本稿では,そのような重みを排除し,既存のモデルマージ手法の一般的な性能を改善するアルゴリズムであるConsensus Mergingを提案する。
論文 参考訳(メタデータ) (2024-05-13T14:54:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。