論文の概要: MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2508.19236v1
• Date: Tue, 26 Aug 2025 17:57:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.941319
• Title: MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation
• Title（参考訳）: MemoryVLA:ロボットマニピュレーションのための視覚・言語・アクションモデルにおける知覚認知記憶
• Authors: Hao Shi, Bin Xie, Yingfei Liu, Lin Sun, Fengrong Liu, Tiancai Wang, Erjin Zhou, Haoqiang Fan, Xiangyu Zhang, Gao Huang,
• Abstract要約: このようなタスクは本質的にマルコフ的ではないが、主流のVLAモデルはそれを見落としているため、ロボット操作には時間的コンテキストが不可欠である。 本稿では,長距離ロボット操作のためのコグニション・メモリ・アクション・フレームワークであるMemoryVLAを提案する。 本稿では,3つのロボットを対象とした150以上のシミュレーションと実世界のタスクについて評価する。
• 参考スコア（独自算出の注目度）: 59.31354761628506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal context is essential for robotic manipulation because such tasks are inherently non-Markovian, yet mainstream VLA models typically overlook it and struggle with long-horizon, temporally dependent tasks. Cognitive science suggests that humans rely on working memory to buffer short-lived representations for immediate control, while the hippocampal system preserves verbatim episodic details and semantic gist of past experience for long-term memory. Inspired by these mechanisms, we propose MemoryVLA, a Cognition-Memory-Action framework for long-horizon robotic manipulation. A pretrained VLM encodes the observation into perceptual and cognitive tokens that form working memory, while a Perceptual-Cognitive Memory Bank stores low-level details and high-level semantics consolidated from it. Working memory retrieves decision-relevant entries from the bank, adaptively fuses them with current tokens, and updates the bank by merging redundancies. Using these tokens, a memory-conditioned diffusion action expert yields temporally aware action sequences. We evaluate MemoryVLA on 150+ simulation and real-world tasks across three robots. On SimplerEnv-Bridge, Fractal, and LIBERO-5 suites, it achieves 71.9%, 72.7%, and 96.5% success rates, respectively, all outperforming state-of-the-art baselines CogACT and pi-0, with a notable +14.6 gain on Bridge. On 12 real-world tasks spanning general skills and long-horizon temporal dependencies, MemoryVLA achieves 84.0% success rate, with long-horizon tasks showing a +26 improvement over state-of-the-art baseline. Project Page: https://shihao1895.github.io/MemoryVLA
• Abstract（参考訳）: このようなタスクは本質的にマルコフ的ではないが、主流のVLAモデルはそれを見落とし、長期的、時間的依存的なタスクに苦しむため、ロボット操作には時間的コンテキストが不可欠である。 認知科学は、人間が即時制御のために短命の表現をバッファリングするためにワーキングメモリに依存していることを示唆し、一方、海馬システムは、長期記憶に対する過去の経験の直感的なエピソード的詳細と意味論を保存している。 これらのメカニズムに着想を得て,長距離ロボット操作のためのコグニション・メモリ・アクション・フレームワークであるMemoryVLAを提案する。 事前訓練されたVLMは、作業メモリを形成する知覚および認知トークンに観察をエンコードし、知覚認知記憶銀行は低レベルの詳細と高レベルのセマンティクスを格納する。 ワーキングメモリは、決定関連エントリを銀行から取り出し、それを現在のトークンと適応的に融合させ、冗長性をマージすることで銀行を更新する。 これらのトークンを使用して、メモリ条件の拡散アクションエキスパートは、時間的に認識されたアクションシーケンスを生成する。 メモリVLAを3つのロボットで150以上のシミュレーションと実世界のタスクで評価した。 SimplerEnv-Bridge、Fractal、LIBERO-5のスイートでは、それぞれ71.9%、72.7%、96.5%の成功率を記録し、いずれも最先端のベースラインであるCogACTとpi-0を上回っている。 一般的なスキルと長期の時間的依存関係にまたがる12の現実世界のタスクにおいて、MemoryVLAは84.0%の成功率を獲得し、最先端のベースラインよりも+26改善されている。 Project Page: https://shihao1895.github.io/MemoryVLA

関連論文リスト

• RoboMemory: A Brain-inspired Multi-memory Agentic Framework for Lifelong Learning in Physical Embodied Systems [29.881808496043387]
  本稿では,脳にインスパイアされたマルチメモリ・フレームワークであるRoboMemoryについて紹介する。 継続的学習、マルチモジュールメモリレイテンシ、タスク相関キャプチャ、クローズドループ計画における無限ループ緩和といった現実の環境における課題に対処する。
  論文  参考訳（メタデータ） (2025-08-02T15:39:42Z)
• FindingDory: A Benchmark to Evaluate Memory in Embodied Agents [49.89792845476579]
  本研究では,Habitatシミュレータに長距離エンボディタスクのための新しいベンチマークを導入する。 このベンチマークは、持続的なエンゲージメントとコンテキスト認識を必要とする60タスクにわたるメモリベースの機能を評価する。
  論文  参考訳（メタデータ） (2025-06-18T17:06:28Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• KARMA: Augmenting Embodied AI Agents with Long-and-short Term Memory Systems [12.461941212597877]
  エンボディードAIエージェントは、しばしばコンテキスト内メモリの困難に直面し、タスク実行の非効率性とエラーを引き起こす。 我々は,長期記憶モジュールと短期記憶モジュールを統合する革新的なメモリシステムであるKARMAを紹介する。 メモリ拡張型エンボディAIエージェントは,複合タスクおよび複合タスクにおいて,成功率を1.3倍,2.3倍に向上させる。
  論文  参考訳（メタデータ） (2024-09-23T11:02:46Z)
• HMT: Hierarchical Memory Transformer for Efficient Long Context Language Processing [33.720656946186885]
  Hierarchical Memory Transformer (HMT) はモデル長文処理を容易にする新しいフレームワークである。 HMTは、既存のモデルの長文処理能力を一貫して改善する。
  論文  参考訳（メタデータ） (2024-05-09T19:32:49Z)
• XMem: Long-Term Video Object Segmentation with an Atkinson-Shiffrin Memory Model [137.50614198301733]
  機能記憶を統一した長ビデオのためのビデオオブジェクトセグメンテーションアーキテクチャであるXMemを提案する。 独立して深く接続された複数の機能記憶を組み込んだアーキテクチャを開発する。 XMemは、ロングビデオデータセットにおける最先端のパフォーマンスを大幅に上回る。
  論文  参考訳（メタデータ） (2022-07-14T17:59:37Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。