論文の概要: Memory Without Curation: Learning Multi-Stream Latent Memory for Robot Policies
- arxiv url: http://arxiv.org/abs/2610.14406v1
- Date: Fri, 09 Oct 2026 23:58:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.045515
- Title: Memory Without Curation: Learning Multi-Stream Latent Memory for Robot Policies
- Title(参考訳): キュレーションなしのメモリ:ロボットポリシーのマルチストリーム遅延メモリを学習する
- Abstract要約: IMprintはポリシーに依存しない潜在メモリフレームワークである。
ポリシーが記憶すべきことを明示的に制約することなく、マルチストリームメモリで視覚言語アクションモデルを拡張する。
- 参考スコア(独自算出の注目度): 36.76696525153094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is widely appreciated that robotic policies require long-term memory to perform complex tasks. However, directly conditioning policies on all past observations leaves policy learning susceptible to learning spurious shortcuts, and introduces large latency at policy deployment. As such, today's memory-augmented policies curate what to remember, either by retaining only recent frames, selected keyframes, or textual summaries, or by learning latent representations of the visual stream alone. In this work, we propose an alternative approach IMPRINT, a policy-agnostic latent memory framework that augments vision-language-action (VLA) models with multi-stream memory without explicitly constraining what the policy should remember. IMPRINT compresses different streams into a latent memory that is updated incrementally at inference, enabling low latency. To avoid shortcut learning, IMPRINT adopts a two-stage training procedure, first supervising memory to reconstruct multiple streams (observations, actions, proprioception) of past information, as well as estimate current task progress, followed by end-to-end finetuning, jointly with the policy, on action prediction. Across both simulation and real-world tasks demanding memory, IMPRINT improves average success over the base VLA by at least 26%, outperforming popular alternatives, and maintaining lowest inference latency among memory-augmented VLAs. Through careful ablations, we demonstrate the utility of incorporating diverse information streams into robotic memory, validating the advantages of foregoing history curation. Project website: https://yilin-wu98.github.io/imprint_website/.
- Abstract(参考訳): ロボットポリシーは複雑なタスクを実行するために長期記憶を必要とすると広く評価されている。
しかし、過去のすべての観察でポリシーを直接条件付けすることは、急激なショートカットの学習に影響を受けやすい政策学習を残し、ポリシーの展開に大きな遅延をもたらす。
このように、今日のメモリ拡張ポリシは、最近のフレーム、選択されたキーフレーム、あるいはテキストの要約のみを保持するか、あるいはビジュアルストリームの潜在表現を学習することによって、何を記憶すべきかをキュレートする。
本研究では,多ストリームメモリを用いた視覚-言語-アクション(VLA)モデルを,ポリシーが記憶すべきことを明示的に制約することなく拡張する,ポリシーに依存しない潜在メモリフレームワークIMPRINTを提案する。
IMPRINTは、異なるストリームを遅延メモリに圧縮し、推論時に漸進的に更新し、低レイテンシを可能にする。
IMPRINTは2段階のトレーニング手順を採用し、まずメモリを監視して過去の情報の複数のストリーム(観測、行動、再認識)を再構築し、現在のタスクの進捗を見積もる。
メモリを必要とするシミュレーションと実世界のタスクの両方にわたって、IMPRINTは、ベースVLAに対する平均的な成功を少なくとも26%改善し、一般的な代替品よりも優れ、メモリ拡張VLAの中で最低の推論レイテンシを維持している。
注意深い議論を通じて,多様な情報ストリームをロボットメモリに組み込むことにより,過去のキュレーションのメリットを実証する。
プロジェクトサイト:https://yilin-wu98.github.io/imprint_website/。
関連論文リスト
- Learning What to Remember: Long-horizon Counterfactual Memory Optimization [6.0483659126409774]
メモリの書き直しは、後に多くのステップでしか役に立たない。
観測されたユーティリティの多くは、書き換え前に既に保存されている情報から継承される可能性がある。
メモリゲインポリシー最適化(MGPO)について紹介する。
MGPOは、現在のダウンストリームユーティリティと将来のダウンストリームユーティリティへの限界的な貢献により、メモリ書き直しを行う。
論文 参考訳(メタデータ) (2026-09-29T16:17:32Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳(メタデータ) (2026-07-15T08:32:40Z) - EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies [68.812675280427]
EventVLAは、疎視的エビデンスメモリの概念に基づいて開発されたエンドツーエンドフレームワークである。
KEMは、VLAの潜伏した埋め込みから将来の確率を直接予測し、スパースでタスククリティカルな視覚イベントを自律的にキャプチャして保存する。
対話型視覚的エビデンスで非マルコフ操作タスクを評価するための診断ベンチマークであるRoboTwin-MeMを提案する。
論文 参考訳(メタデータ) (2026-06-18T11:11:37Z) - Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks [69.19366746169906]
本稿では,短期記憶を利用するビジュモータポリシーのためのトランスフォーマーベースのアーキテクチャであるPRISMを提案する。
海賊フィルタは情報を取得し、関連する詳細を抑え、性能を向上する。
階層アーキテクチャは、ローカル情報をコンパクトなトークンに圧縮し、計算とメモリフットプリントを改善する。
論文 参考訳(メタデータ) (2026-06-15T03:49:23Z) - AdMem: Advanced Memory for Task-solving Agents [13.611633561917513]
大規模言語モデル(LLM)はツール使用エージェントとしての約束を示すが、知識の記憶、整理、再利用を必要とする長期的タスクには制限がある。
本稿では,短期記憶と長期記憶を組み合わせた2段階設計において,セマンティック,エピソード,手続き記憶を統合した統合的・自動記憶フレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-05T00:11:57Z) - VPWEM: Non-Markovian Visuomotor Policy with Working and Episodic Memory [31.464584758455356]
VPWEMは、ワーキングメモリとエピソードメモリを備えた非マルコフヴィジュモータ政策である。
動作生成には短期情報とエピソードワイド情報の両方を使用し、1ステップあたりのメモリと計算がほぼ一定である。
論文 参考訳(メタデータ) (2026-03-05T07:52:50Z) - Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。
視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
論文 参考訳(メタデータ) (2025-11-26T18:55:08Z) - Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。
10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
論文 参考訳(メタデータ) (2025-11-25T21:08:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。