論文の概要: HeLM: Hierarchical Explicit Language Memory for Non-Markovian Manipulation
- arxiv url: http://arxiv.org/abs/2611.02660v1
- Date: Mon, 02 Nov 2026 07:20:12 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:40:36.777785
- Title: HeLM: Hierarchical Explicit Language Memory for Non-Markovian Manipulation
- Title(参考訳): HeLM:非マルコフ操作のための階層的言語メモリ
- Abstract要約: 人間の「インナー・モノローグ」に動機づけられた階層型言語記憶(HeLM)を提案する。
HeLMは、要因付きイベント検出とイベントトリガーによるメモリ更新を通じて、明示的な言語でのタスク関連履歴を維持している。
56の変種を持つ10個の非マルコフ的実世界のタスクにまたがってHeLMを評価する。
- 参考スコア(独自算出の注目度): 5.710482974889161
- License:
- Abstract: Recent advances in Vision-Language-Action (VLA) models have enabled fine manipulation capabilities, yet performing tasks that require working memory remains a key challenge. Most existing VLA architectures operate under a Markovian assumption, mapping only the current observation to an action, which leads to failure in non-Markovian environments. Inspired by the human 'inner monologue', we propose Hierarchical Explicit Language Memory (HeLM), a hierarchical VLA framework that maintains task-relevant history in explicit language through factorized event detection and event-triggered memory updates. We evaluate HeLM across 10 non-Markovian real-world tasks with 56 variants, including five newly formulated inter-episode tasks that require persistent context across task boundaries. HeLM improves intra-episode success by 12.8 percentage points over the strongest baseline and achieves 78% subtask success on compositional generalization tasks, while using up to 4.5x less memory and running 2.5x faster than the keyframe baseline at long horizons.
- Abstract(参考訳): 近年のVision-Language-Action(VLA)モデルの進歩により、細かな操作が可能になったが、作業メモリを必要とするタスクの実行は依然として重要な課題である。
ほとんどの既存のVLAアーキテクチャはマルコフの仮定の下で動作し、現在の観測のみをアクションにマッピングする。
人間の「インナー・モノローグ」にインスパイアされた階層型言語メモリ(HeLM)を提案する。これは階層型VLAフレームワークで、イベント検出やイベントトリガーによるメモリ更新を通じて、明示的な言語におけるタスク関連履歴を維持する。
56の変種を持つ10個の非マルコフ的実世界のタスクにまたがってHeLMを評価する。
HeLMは、最強のベースライン上で12.8ポイント向上し、構成一般化タスクにおいて78%のサブタスク成功を達成すると同時に、最大4.5倍のメモリを使用し、長い水平線でキーフレームベースラインよりも2.5倍高速に動作させる。
関連論文リスト
- EvoMem-VLA: State-Evolution Memory for Long-Horizon Robot Manipulation [27.5832260127858]
EvoMem-VLAは、歴史的状態間の観測された変化を明示的に符号化し、保持することで、状態進化記憶を構築する。
これらの変更表現は相互作用の結果の証拠を保存し、分離されたスナップショットを超えてタスクの進捗を追跡することができる。
論文 参考訳(メタデータ) (2026-10-04T17:59:43Z) - Remember What You Did: Action-History Memory with Dual-Expert Denoising for Long-Horizon Vision-Language-Action Policies [21.099991485602622]
ActMem-VLAは、Mambaベースのメモリモジュールと軽量PreAction Expert (PAE)からなるメモリプラグインで、凍結した微調整のVLAを増強する。
LIBERO-Memでは、ActMem-VLAは10タスクで平均80.8%、MemoryVLAでは65.2%、メモリVLAでは49.5%、追加パラメータは3.45%となっている。
論文 参考訳(メタデータ) (2026-09-29T11:43:19Z) - LexiconVLA: Learning Reusable Atomic Action Codebooks for Unseen Tasks [52.045695649147966]
クロスタスク再利用のための検索可能な原子-作用レキシコンを提案する。
グローバルかつ詳細なコードブックは、共有インタラクション構造ときめ細かい実行のバリエーションをキャプチャする。
視覚-原子的行動アライメントは、視覚状態変化からの軌道再構成と、行動コードからの視覚的結果予測を結合する。
論文 参考訳(メタデータ) (2026-09-29T05:45:52Z) - TaskAnchor: Grounding Task State in Reactive VLAs for Long-Horizon Manipulation [49.02604313942616]
VLA(Reactive Vision-Language-action)ポリシーは、長時間の操作においてタスク状態のエイリアスに悩まされる。
本稿では,VLAのネイティブ入力空間に実行コンテキストを注入することでタスク状態を基底とする軽量アダプタTaskAnchorを提案する。
長期のベンチマークではTaskAnchorが大幅に上昇し、pi0.5とX-VLAのベースラインの平均的な成功率の6倍に達する。
論文 参考訳(メタデータ) (2026-09-20T11:57:10Z) - UniMem: Unifying Multimodal Memory and Control for Vision-Language-Action Models [8.70663346892131]
我々は,高レベルのマルチモーダルメモリと低レベルの制御を1つのバックボーンの下に統一するフレームワークUniMemを提案する。
逐次記憶と空間記憶を対象とする5つのシミュレーションと4つのハードウェアタスクでUniMemを評価する。
論文 参考訳(メタデータ) (2026-08-24T06:56:02Z) - Skills in Weights, Memory in Code: Hybrid Learning for Memory-Dependent Robot Manipulation [12.918310076135313]
実世界の操作は、しばしば非マルコフ的であり、ロボットがタスク関連情報を保持し、推論することを要求する。
我々は,コーディングエージェントの推論とメモリ管理機能を活用したハイブリッド学習フレームワークHyMeSを提案する。
RoboMemArenaでは、平均累積成功率を52.5%から66.2%に改善し、平均タスク成功率を41.3%から60.1%に上回り、PrediMemの累積成功率4.5ポイント、タスク成功率14.5ポイントを上回っている。
論文 参考訳(メタデータ) (2026-08-10T10:35:47Z) - EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies [68.812675280427]
EventVLAは、疎視的エビデンスメモリの概念に基づいて開発されたエンドツーエンドフレームワークである。
KEMは、VLAの潜伏した埋め込みから将来の確率を直接予測し、スパースでタスククリティカルな視覚イベントを自律的にキャプチャして保存する。
対話型視覚的エビデンスで非マルコフ操作タスクを評価するための診断ベンチマークであるRoboTwin-MeMを提案する。
論文 参考訳(メタデータ) (2026-06-18T11:11:37Z) - RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
記憶は、長い水平と歴史に依存したロボット操作にとって重要である。
近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。
本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
論文 参考訳(メタデータ) (2026-03-04T21:59:32Z) - Notes-to-Self: Scratchpad Augmented VLAs for Memory Dependent Manipulation Tasks [9.55115186979077]
言語スクラッチパッドを組み込むことにより,空間記憶と時間記憶の両方を視覚言語アクション(VLA)モデルに付与する方法を示す。
本手法は,ClevrSkills環境からのメモリ依存タスクの分割,MemoryBench上でのメモリ依存タスク,そして実世界のピック・アンド・プレイスタスクにおいて評価する。
論文 参考訳(メタデータ) (2026-02-24T15:30:55Z) - HAMLET: Switch your Vision-Language-Action Model into a History-Aware Policy [61.668591984635846]
HAMLETは、行動予測中の歴史的状況に対応するためにビジョン・ランゲージ・アクションモデルを適用するためのフレームワークである。
HAMLETは、最先端のVLAを履歴認識ポリシーに変換することに成功していることを示す。
GR00T N1.5に加えて、HAMLETは歴史に依存した実世界のタスクで平均76.4%の成功率を達成した。
論文 参考訳(メタデータ) (2025-10-01T09:15:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。