論文の概要: Plan First, Act Later: Streaming Reasoning for Executable Memory in Robot Control
- arxiv url: http://arxiv.org/abs/2610.29329v1
- Date: Wed, 21 Oct 2026 07:27:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.272653
- Title: Plan First, Act Later: Streaming Reasoning for Executable Memory in Robot Control
- Title（参考訳）: ロボット制御における実行可能メモリのためのストリーミング推論
- Abstract要約: ロングホライズンロボットの操作は、ロボットが短い観察窓を越えてタスク関連情報を記憶する必要がある。
既存のメモリ拡張ポリシは、通常、履歴から関連する情報を取得し、実行時にそれについて推論する。
視覚言語ロボット操作のための階層型メモリフレームワークであるPALを提案する。
- 参考スコア（独自算出の注目度）: 9.378631606685452
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Long-horizon robot manipulation requires a robot to remember task-relevant information beyond its short observation window. Existing memory-augmented policies typically retrieve relevant information from history and reason over it at execution time, placing a heavy reasoning burden on the high-level model. To address this challenge, we propose PAL (\textbf{P}lan first, \textbf{A}ct \textbf{L}ater), a hierarchical memory framework for vision-language robot manipulation. It maintains a short-term visual buffer, a semantic-event memory, and an executable \texttt{subtask\_list}. A high-level vision-language model (VLM) converts streaming visual observations into the \texttt{subtask\_list}. At execution time, the VLM selects the currently relevant subtask from the \texttt{subtask\_list} and passes it to a low-level vision-language-action (VLA) policy. To teach the model what to write to memory and when to update it, we introduce a two-stage data generation procedure that first expands sparse update supervision and then uses self-labeling with task-grounded verification to generate training data that better match the state distribution encountered during execution. We evaluate our approach on memory-dependent benchmarks and real-world manipulation tasks. On RoboMME, PAL achieves a \textbf{56.05\%} success rate, outperforming the strongest baseline, FrameSamp-Modul, at 44.51\%. In real-world experiments across four manipulation tasks, \pal{} reaches \textbf{60.83\%} overall success, surpassing MemER (45.00\%) and FrameSamp-Modul (28.33\%). These results show that proactively writing future-relevant subtasks into hierarchical memory improves long-horizon visual reasoning and robot control. Code and videos can be found on our website: https://qinghangliu.github.io/pal-webpage/
- Abstract（参考訳）: ロングホライズンロボットの操作は、ロボットが短い観察窓を越えてタスク関連情報を記憶する必要がある。
既存のメモリ拡張ポリシは、通常、履歴から関連する情報を検索し、実行時にそれを推論する。
この課題に対処するため、視覚言語ロボット操作のための階層型メモリフレームワークであるPAL(\textbf{P}lan first, \textbf{A}ct \textbf{L}ater)を提案する。
短期的なビジュアルバッファ、セマンティックイベントメモリ、実行可能な \texttt{subtask\_list} を保持する。
高レベル視覚言語モデル (VLM) は、ストリーミングの視覚観察を \texttt{subtask\_list} に変換する。
VLMは実行時に、現在関連するサブタスクをtexttt{subtask\_list} から選択し、低レベルの視覚言語アクション(VLA)ポリシーに渡す。
メモリに何を書き、いつ更新するかをモデルに教えるために、まずスパース更新監視を拡張し、2段階のデータ生成手順を導入します。
メモリ依存ベンチマークと実世界の操作タスクに対する我々のアプローチを評価する。
RoboMME では、PAL は \textbf{56.05\%} の成功率を達成し、最強のベースラインである FrameSamp-Modul を 44.51\% で上回った。
4つの操作タスクにわたる実世界の実験では、 \pal{} は MemER (45.00\%) と FrameSamp-Modul (28.33\%) を上回り、全体の成功に到達した。
これらの結果から,将来関連サブタスクを階層記憶に積極的に書き込むことによって,長期的視覚的推論とロボット制御が向上することが示唆された。
コードとビデオは、私たちのWebサイトにある: https://qinghangliu.github.io/pal-webpage/
関連論文リスト
- EventSync: Event-Driven Memory Updates for History-Dependent Manipulation [10.431959305194203]
EventSyncは、イベント駆動メモリ更新を通じてタスク推論とアクション実行を調整する階層的なフレームワークである。
軽量のEvent Monitorは、視覚観察とエンドエフェクタトラジェクタを組み合わせて、現在のサブゴールが完了したかどうかを判断する。
異なるメモリ要件を持つ4つの実ロボットタスクの実験は、実世界のロボット操作におけるフレームワークの有効性を検証する。
論文 参考訳（メタデータ） (2026-10-20T09:29:49Z) - Fast-VLA: You Only Think Once for Robot Manipulation [27.474189717887608]
我々は,Fast-VLAを導入し,1回に1回フリーズした4B VLMを起動し,命令と初期ビューを固定された多層タスクメモリとしてコンテキスト化する。
実行中、軽量のオンラインアクターは、学習した時間と腕のインデックス付きクエリを、現在の視覚的および受容的なフィードバックと融合してアクションクエリを形成する。
高速VLA 92.46%、92.40%がRoboTwin 2.0のクリーン&ランダム化、95.95%と79.11%がLIBEROとLIBERO-Plusの評価で成功した。
論文 参考訳（メタデータ） (2026-10-15T07:05:16Z) - Inline Memory Meets Reusable Skills: Memory-centric Framework for Vision-Language-Action Model [66.46761220797254]
Optimus-Rはメモリ中心のVLAフレームワークで、ロボット適応を明示的なクエリスキルメモリチューニングとして定式化する。
スキルをクエリプロトタイプに外部化し、検索するEmphhowと、行動するEmphhowを指定するスキル値を決定する。
実験によると、Optimus-Rは破滅的な忘れを軽減しつつ、データ効率のよいスキル学習を可能にする。
論文 参考訳（メタデータ） (2026-09-30T14:11:42Z) - MEMOBench: A Process Level Memory Benchmark for Robotic Manipulation [36.81053166644513]
ロボット操作におけるプロセスレベルのメモリ評価のベンチマークである textbfMEMOBench を提案する。
MEMOBenchには30の履歴依存タスク、1500のエキスパートデモ、84のテンプレートから4,200の実行可能なチェックポイントインスタンスが含まれている。
論文 参考訳（メタデータ） (2026-09-07T05:06:20Z) - UniMem: Unifying Multimodal Memory and Control for Vision-Language-Action Models [8.70663346892131]
我々は,高レベルのマルチモーダルメモリと低レベルの制御を1つのバックボーンの下に統一するフレームワークUniMemを提案する。
逐次記憶と空間記憶を対象とする5つのシミュレーションと4つのハードウェアタスクでUniMemを評価する。
論文 参考訳（メタデータ） (2026-08-24T06:56:02Z) - EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies [68.812675280427]
EventVLAは、疎視的エビデンスメモリの概念に基づいて開発されたエンドツーエンドフレームワークである。
KEMは、VLAの潜伏した埋め込みから将来の確率を直接予測し、スパースでタスククリティカルな視覚イベントを自律的にキャプチャして保存する。
対話型視覚的エビデンスで非マルコフ操作タスクを評価するための診断ベンチマークであるRoboTwin-MeMを提案する。
論文 参考訳（メタデータ） (2026-06-18T11:11:37Z) - RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
記憶は、長い水平と歴史に依存したロボット操作にとって重要である。
近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。
本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
論文 参考訳（メタデータ） (2026-03-04T21:59:32Z) - MemER: Scaling Up Memory for Robot Control via Experience Retrieval [46.5398413633767]
人間は日常的にメモリをタスクに頼っているが、ほとんどのロボットポリシーはこの機能を欠いている。
本稿では,その経験から過去の関連事項を選択し,追跡するために,ハイレベルな政策を訓練する階層的な政策枠組みを提案する。
我々のアプローチであるMemERは、数分のメモリを必要とする3つの現実世界の長距離ロボット操作タスクにおいて、従来の手法よりも優れています。
論文 参考訳（メタデータ） (2025-10-23T08:26:17Z) - MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation [59.31354761628506]
このようなタスクは本質的にマルコフ的ではないが、主流のVLAモデルはそれを見落としているため、ロボット操作には時間的コンテキストが不可欠である。
本稿では,長距離ロボット操作のためのコグニション・メモリ・アクション・フレームワークであるMemoryVLAを提案する。
本稿では,3つのロボットを対象とした150以上のシミュレーションと実世界のタスクについて評価する。
論文 参考訳（メタデータ） (2025-08-26T17:57:16Z) - Vision Transformer with Sparse Scan Prior [24.78780746169092]
textbfSparse textbfScan textbfSelf-textbfAttention mechanism(rmS3rmA$)を提案する。
このメカニズムはトークンごとに一連のAnchor of Interestをプリ定義し、局所的な注意を使ってこれらのアンカー周辺の空間情報を効率的にモデル化する。
rmS3rmA$で構築すると、 textbfSparse textbfScan textbfVisionを導入します。
論文 参考訳（メタデータ） (2024-05-22T04:34:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。