論文の概要: MemoryVAM: Integrating Memory into Video Action Model for Robot Manipulation

• arxiv url: http://arxiv.org/abs/2606.20679v1
• Date: Sat, 13 Jun 2026 08:54:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 16:13:52.986193
• Title: MemoryVAM: Integrating Memory into Video Action Model for Robot Manipulation
• Title（参考訳）: MemoryVAM:ロボット操作のためのビデオアクションモデルへのメモリ統合
• Authors: Yuxin Jiang, Chang Yu, Yunuo Chen, Xiang Feng, Yin Yang, Nishank Gite, Chenfanfu Jiang,
• Abstract要約: 本稿では,ビデオワールドモデルポリシーのためのエピソードメモリ機構であるMemoryVAMを提案する。 我々はRecap-Cue(RC)モジュールを使用し、PerceiverベースのRecapはフレーム単位のCLIPをコンパクトなメモリトークンにマップする。 これらのトークンはビデオバックボーンとアクションデコーダの両方に注入され、ポリシーのイマジネーションとエピソードの進行と履歴の条件付けとを一致させる。
• 参考スコア（独自算出の注目度）: 32.07039868974098
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Video-world-model policies learn action-relevant representations by predicting future observations. However, they condition on only a short observation window, which renders long-horizon manipulation non-Markovian when the correct action depends on earlier events that are no longer visible. We present MemoryVAM, an episodic memory mechanism for video-world-model policies. We employ a Recap-Cue (RC) module, in which a Perceiver-based Recap Compressor maps per-frame CLIP embeddings into compact memory tokens, and a lightweight Cue Gate estimates task completion from memory and language. These tokens are injected into both the video backbone and the action decoder, aligning policy imagination with episode progress and conditioning actions on history. Our model trains the memory module with video prediction, a delta-reconstruction auxiliary loss, and episode-boundary supervision, requiring no per-frame progress labels. The same mechanism applies to UNet and Diffusion Transformer (DiT) backbones by changing only the cross-attention injection interface. On LIBERO-Mem, our model improves average success from 5% to 42.5%. On real robots, it achieves 78.3% success on counting tasks, 80.0% on spatial recall, and 75.0% on sequential tracking. Project page: https://MemoryVAM.github.io/
• Abstract（参考訳）: ビデオワールドモデルポリシは、将来の観測を予測してアクション関連表現を学ぶ。 しかし、これらは短い観測窓のみに条件を定めており、これは、正しいアクションがもはや見えなくなった以前の事象に依存する場合、マルコフ的でない長い水平な操作を与える。 本稿では,ビデオワールドモデルポリシーのためのエピソードメモリ機構であるMemoryVAMを提案する。 我々はRecap-Cue(RC)モジュールを使用し、PerceiverベースのRecap Compressorはフレーム単位のCLIPをコンパクトなメモリトークンにマッピングし、軽量Cue Gateはメモリと言語からタスク完了を推定する。 これらのトークンはビデオバックボーンとアクションデコーダの両方に注入され、ポリシーのイマジネーションとエピソードの進行と履歴の条件付けとを一致させる。 我々のモデルは、映像予測、デルタ再構成補助損失、エピソード境界監督でメモリモジュールを訓練し、フレームごとの進捗ラベルは不要である。 同じメカニズムは、クロスアテンションインジェクションインターフェースだけを変更することで、UNet と Diffusion Transformer (DiT) のバックボーンにも適用される。 LIBERO-Memでは、平均的な成功率を5%から42.5%に改善しています。 実際のロボットでは、タスクのカウントで78.3%、空間リコールで80.0%、シーケンシャルトラッキングで75.0%を達成している。 プロジェクトページ: https://MemoryVAM.github.io/

関連論文リスト

• Remember what you did?: Learning Behavioral Memories for Partially Observable Object Manipulation [1.5192151934554061]
  圧縮行動記憶ポリシー(CAMP)について紹介する。 CAMPは、ロボット自身の行動履歴が、高度に情報的かつ自己管理的な信号として機能する、という洞察に基づいている。 CAMPを4つの実ロボット・セットアップと2つの新しいシミュレーション・ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-06-19T07:56:58Z)
• MemoryVLA++: Temporal Modeling via Memory and Imagination in Vision-Language-Action Models [80.70528162709276]
  効果的な制御は過去の相互作用の記憶と将来の状態の想像を必要とするため、ロボット操作には時間モデリングが不可欠である。 本稿では,VLAモデルにメモリと想像力を付与し,ロボット操作のためのフル時間モデリングフレームワークであるMemoryVLA++を提案する。 提案手法は,Libero,SimplerEnv,Mikasa-Robo,Calvin,Libero-Plus,多種多様な実ロボットタスクにまたがって高い性能を実現する。
  論文  参考訳（メタデータ） (2026-06-08T17:59:53Z)
• Echo-Memory: A Controlled Study of Memory in Action World Models [58.77172260403133]
  本研究では,行動条件付き世界モデルにおける記憶機構の制御に関する研究を行う。 既存のメモリ設計と比較するのは難しいのは、ゲインにはバックボーン、トレーニング、検索、評価の違いが絡み合っているからである。 我々はEcho-Memoryを使ってアクション・ツー・ビデオのインタフェースを修正し、生成元によって履歴が保存され読み込まれるかだけを変える。
  論文  参考訳（メタデータ） (2026-06-08T17:54:10Z)
• VPWEM: Non-Markovian Visuomotor Policy with Working and Episodic Memory [31.464584758455356]
  VPWEMは、ワーキングメモリとエピソードメモリを備えた非マルコフヴィジュモータ政策である。 動作生成には短期情報とエピソードワイド情報の両方を使用し、1ステップあたりのメモリと計算がほぼ一定である。
  論文  参考訳（メタデータ） (2026-03-05T07:52:50Z)
• MEM: Multi-Scale Embodied Memory for Vision Language Action Models [73.3883864595845]
  本稿では,マルチスケール・エンボダイドメモリ(MEM)について紹介する。 MEMはビデオベースの短水平メモリをビデオエンコーダで圧縮し、テキストベースの長水平メモリと組み合わせている。 MEMは、キッチンを掃除したり、チーズサンドイッチを焼いたりして、最大15分間のタスクをロボットが実行できるようにする。
  論文  参考訳（メタデータ） (2026-03-04T00:03:02Z)
• MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation [59.31354761628506]
  このようなタスクは本質的にマルコフ的ではないが、主流のVLAモデルはそれを見落としているため、ロボット操作には時間的コンテキストが不可欠である。 本稿では,長距離ロボット操作のためのコグニション・メモリ・アクション・フレームワークであるMemoryVLAを提案する。 本稿では,3つのロボットを対象とした150以上のシミュレーションと実世界のタスクについて評価する。
  論文  参考訳（メタデータ） (2025-08-26T17:57:16Z)
• Token Turing Machines [53.22971546637947]
  Token Turing Machines (TTM) はシーケンシャルな自己回帰型トランスフォーマーモデルである。 我々のモデルは、セミナルなニューラルチューリングマシンにインスパイアされ、以前の履歴を要約するトークンの集合からなる外部メモリを持つ。
  論文  参考訳（メタデータ） (2022-11-16T18:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。