論文の概要: PREM: Prediction-Regulated Memory for Robot Manipulation
- arxiv url: http://arxiv.org/abs/2611.00634v1
- Date: Sat, 31 Oct 2026 04:58:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:13:12.758138
- Title: PREM: Prediction-Regulated Memory for Robot Manipulation
- Title(参考訳): PreM:ロボット操作における予測制御メモリ
- Abstract要約: 本稿では,行動条件付き将来の予測を用いて,視覚言語対応ポリシーにおける記憶学習と更新の両方をガイドするフレームワークである予測制御メモリ(PREM)を紹介する。
トレーニング中、将来の視覚的特徴を予測することは、記憶学習の時間的監督を提供する。
PreMは、現在の視覚的特徴と事前決定時の予測を比較し、空間的正規化予測誤差を用いて、各空間的位置における視覚的状態の更新を規制する。
- 参考スコア(独自算出の注目度): 64.07220660773423
- License:
- Abstract: A robot's next action can depend on recent motion or earlier visual evidence absent from its current observation. A recurrent visual-memory architecture can retain this history in a visual state, but its usefulness depends on what the state represents and how it is updated with new observations. We introduce Prediction-Regulated Memory (PREM), a framework that uses action-conditioned future prediction to guide both memory learning and updating in vision-language-action policies. During training, predicting future visual features provides temporal supervision for memory learning. During execution, PREM compares current visual features with the prediction made at the preceding decision and uses the spatially normalized prediction discrepancy to regulate updates to the visual state at each spatial location. The updated visual state supplies temporal context for action generation alongside current observations. Built on $π_{0.5}$, PREM improves average success rate from 9.63% to 20.74% on DOMINO dynamic manipulation tasks and from 14.4% to 83.8% on the RMBench M(1) memory-dependent setting. Further evaluations on LIBERO and LIBERO-Pro show improvements in general manipulation and robustness to spatial perturbations. PREM incurs a mean inference overhead of 7.7 ms on a single NVIDIA H800 GPU.
- Abstract(参考訳): ロボットの次の動作は、現在の観察から外れた最近の動きや以前の視覚的証拠に依存することができる。
繰り返し発生するビジュアルメモリアーキテクチャは、この履歴を視覚的に保持することができるが、その有用性は、その状態が何を表すのか、どのように更新されるかによって異なる。
本稿では,行動条件付き将来の予測を用いて,視覚言語対応ポリシーにおける記憶学習と更新の両方をガイドするフレームワークである予測制御メモリ(PREM)を紹介する。
トレーニング中、将来の視覚的特徴を予測することは、記憶学習の時間的監督を提供する。
実行中、PreMは現在の視覚的特徴と前回の判定時の予測を比較し、空間正規化された予測不一致を用いて各空間的位置における視覚的状態の更新を規制する。
更新された視覚状態は、現在の観測と共にアクション生成のための時間的コンテキストを提供する。
PreMは平均的な成功率を9.63%から20.74%に改善し、DOMINOの動的操作タスクは14.4%から83.8%に改善した。
LIBEROとLIBERO-Proのさらなる評価は、空間摂動に対する一般操作とロバスト性の向上を示している。
PreMは1つのNVIDIA H800 GPU上で7.7msの平均推測オーバーヘッドを発生させる。
関連論文リスト
- Learning from Next-Frame Prediction: Towards Unified and Scalable Visual World Modeling [42.7271539385427]
本稿では,組込み空間における次フレーム予測に基づく自己教師型視覚前訓練フレームワークVANEを紹介する。
因果エンコーダは、次のフレーム全体の表現を推測する状態予測器に対する過去の観測を要約する。
VANEはモデルとデータのスケーリングを改善し、ほとんどの予測、認識、高密度知覚ベンチマークでSOTAを達成する。
論文 参考訳(メタデータ) (2026-10-22T04:46:49Z) - RM-WAM: Reliable Memory-Augmented World Action Models for Long-Horizon Robot Manipulation [10.315567634849236]
世界行動モデル(WAM)は、将来の視覚状態と行動を予測することでロボット操作を改善する。
本稿では,メモリをコンテキスト依存の予測資源として扱う,信頼性の高いメモリ拡張ワールドアクションモデルRM-WAMを提案する。
論文 参考訳(メタデータ) (2026-10-11T03:28:38Z) - FutureWorlds: Learning Robotic World Models from Alternative Futures [63.860917821424955]
FutureWorldsは、候補構築、履歴の保守、相対的な品質からの学習を統合するフレームワークである。
マルチモーダルな離散自己回帰モデルに基づいて構築されたFutureWorldsは、強化学習中に多様なビームサーチを使用して、信頼性と多様性のバランスをとる候補となる未来を構築する。
論文 参考訳(メタデータ) (2026-10-01T04:04:31Z) - Learning What to Recall: Adaptive Multi-Cue Episodic Memory for World Models [82.99807299727796]
本稿では,将来認識型予測監視からエピソードリコールを学習するフレームワークであるFuture-Aware Recall (FAR)を提案する。
FARは、リコールされたコンテキストの条件付きログ類似度による予測ユーティリティを計測する。
キュー固有の関連性を学び、時間、ポーズ、ビジョン、オーディオなどの利用可能な検索キューを自動的に決定し、クエリ毎に信頼する。
論文 参考訳(メタデータ) (2026-09-28T09:07:39Z) - HAMLET: Switch your Vision-Language-Action Model into a History-Aware Policy [61.668591984635846]
HAMLETは、行動予測中の歴史的状況に対応するためにビジョン・ランゲージ・アクションモデルを適用するためのフレームワークである。
HAMLETは、最先端のVLAを履歴認識ポリシーに変換することに成功していることを示す。
GR00T N1.5に加えて、HAMLETは歴史に依存した実世界のタスクで平均76.4%の成功率を達成した。
論文 参考訳(メタデータ) (2025-10-01T09:15:52Z) - AMP: Autoregressive Motion Prediction Revisited with Next Token Prediction for Autonomous Driving [59.94343412438211]
本稿では,GPT方式の次のトークン動作予測を動作予測に導入する。
同種単位-ワードからなる言語データとは異なり、運転シーンの要素は複雑な空間的・時間的・意味的な関係を持つ可能性がある。
そこで本稿では,情報集約と位置符号化スタイルの異なる3つの因子化アテンションモジュールを用いて,それらの関係を捉えることを提案する。
論文 参考訳(メタデータ) (2024-03-20T06:22:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。