論文の概要: Dual-Stream Memory for Vision-Language-Action Policies
- arxiv url: http://arxiv.org/abs/2610.13262v1
- Date: Fri, 09 Oct 2026 09:14:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.502393
- Title: Dual-Stream Memory for Vision-Language-Action Policies
- Title(参考訳): ビジョンランゲージ・アクション・ポリシーのためのデュアルストリームメモリ
- Abstract要約: メモリ依存の操作は、実行状態を追跡し、観測不可能な視覚的証拠を復元するポリシーを必要とする。
本稿では,視覚-言語-アクションポリシーのためのデュアルストリームメモリを提案し,これらの要件を補完表現に割り当てる。
タスクに依存しないGated DeltaNetは、履歴を1つの時間トークンに圧縮し、進捗予測と動作条件付き特徴再構成によって教師される。
- 参考スコア(独自算出の注目度): 10.011485865822467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memory-dependent manipulation requires a policy to track execution state and recover visual evidence that is no longer observable. We propose dual-stream memory for vision-language-action policies, assigning these requirements to complementary representations. A task-agnostic Gated DeltaNet compresses history into one temporal token, supervised by progress prediction and action-conditioned feature reconstruction. A task-conditioned retriever retains frames above a fixed relevance threshold; linear multi-scale fusion encodes each frame into sixteen spatial tokens. We then freeze the temporal compressor and jointly optimize retrieval and policy learning. Across sixteen RoboMME tasks, the complete model achieves 49.22% mean success versus 44.51% for the published FrameSamp+Modul reference, improving fourteen tasks and all four suite means. On four real-robot tasks, mean success reaches 62.5% versus 37.5%, with the largest gains on repeated actions requiring execution-stage discrimination. These results support combining execution context with selective visual access, while failures under cup swaps expose persistent identity tracking as an unresolved requirement.
- Abstract(参考訳): メモリ依存の操作は、実行状態を追跡し、観測不可能な視覚的証拠を復元するポリシーを必要とする。
本稿では,これらの要件を補完表現に割り当てる,視覚言語行動ポリシーのためのデュアルストリームメモリを提案する。
タスクに依存しないGated DeltaNetは、履歴を1つの時間トークンに圧縮し、進捗予測と動作条件付き特徴再構成によって教師される。
タスク条件付きレトリバーは、固定された関連しきい値以上のフレームを保持し、線形多スケール融合は各フレームを16個の空間トークンにエンコードする。
次に、時間圧縮機を凍結し、検索とポリシー学習を協調的に最適化する。
16のRoboMMEタスク全体で、完全なモデルでは49.22%が成功し、FrameSamp+Modul参照では44.51%が成功し、14のタスクと4つのスイートがすべて改善された。
実際の4つのタスクでは、成功率は62.5%、37.5%に達し、実行段階の差別を必要とする反復的な行動では最大である。
これらの結果は、実行コンテキストと選択的な視覚的アクセスの組み合わせをサポートし、カップスワップ下の障害は、未解決の要件として永続的なアイデンティティ追跡を公開する。
関連論文リスト
- RESETTLE: Robotic Recovery through Disagreement-Triggered Retrieval and Efficient Corrective Control [92.47481295713227]
本稿では,凍結ロボットポリシーのアクション・エグゼクティブ・インタフェースにおいて,効率的なリカバリのためのモデルに依存しないフレームワークであるRESETTLEを紹介する。
適応されたV-JEPAエンコーダを使用して、同じタスクのデモ参照を取得する。
LIBERO-Plus、Meta-World、RoboCasaでは最大8.70%、6.28%、絶対的な成功率6.83%に達する。
論文 参考訳(メタデータ) (2026-10-08T15:49:03Z) - Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning [67.2146856614177]
ViMoDは、推論が進化するにつれて、元のきめ細かい証拠へのアクセスを保ちながら、コンパクトな視覚コンテキストを維持する軽量フレームワークである。
Qwen3-VL-4Bでは、ViMoDは8つの推論ベンチマークのベースラインを20%の視覚トークン予算で上回っている。
論文 参考訳(メタデータ) (2026-10-08T14:42:57Z) - EvoMem-VLA: State-Evolution Memory for Long-Horizon Robot Manipulation [27.5832260127858]
EvoMem-VLAは、歴史的状態間の観測された変化を明示的に符号化し、保持することで、状態進化記憶を構築する。
これらの変更表現は相互作用の結果の証拠を保存し、分離されたスナップショットを超えてタスクの進捗を追跡することができる。
論文 参考訳(メタデータ) (2026-10-04T17:59:43Z) - What to Attend, What to Keep: Skill-Conditioned Visuotactile Representation with Progress-Guided Event Memory [53.7734456149083]
視覚と触覚を原始的なスキルのレベルでどのように組み合わせるべきかを研究する。
本稿では,モダリティ特異的な短期観察トークンを融合したスキル条件表現を提案する。
論文 参考訳(メタデータ) (2026-09-29T20:21:37Z) - LexiconVLA: Learning Reusable Atomic Action Codebooks for Unseen Tasks [52.045695649147966]
クロスタスク再利用のための検索可能な原子-作用レキシコンを提案する。
グローバルかつ詳細なコードブックは、共有インタラクション構造ときめ細かい実行のバリエーションをキャプチャする。
視覚-原子的行動アライメントは、視覚状態変化からの軌道再構成と、行動コードからの視覚的結果予測を結合する。
論文 参考訳(メタデータ) (2026-09-29T05:45:52Z) - Behavior-Aligned Action Tokenization for Robot Policy Learning [9.37360970873363]
自己回帰型ロボットポリシーは、観察から個別のアクショントークンを予測することによって、継続的な制御を学習する。
本研究では,対応する動作チャンクを選択し,その量子化座標を再構成とともに整列させる行動適応型行動トークン化(BAAT)を提案する。
履歴条件付き拡散復号器はこれらのトークンから連続的なアクションチャンクを再構成し、下流の自己回帰ポリシーはそれらを予測することを学ぶ。
論文 参考訳(メタデータ) (2026-09-23T08:12:03Z) - Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses [83.32611586724165]
Recurisは、ロングホライゾンエージェントハーネスのためのExperiential-Working Memoryアーキテクチャである。
Work Memoryはタスクの進捗を追跡し、Experiential Memoryからスキル選択をガイドする。
4つのロングホライズンベンチマークと10のモデルでRecurisは37のモデルベンチマークペアのうち35のタスク成功を改善している。
論文 参考訳(メタデータ) (2026-08-25T17:56:35Z) - KEMO: Event-Driven Keyframe Memory for Long-Horizon Robot Manipulation with VLA Policies [14.253600207124194]
メモリはこの曖昧さに対処し、ポリシーが実行履歴からタスクの進捗を推測できるようにする。
本稿では,VLA ポリシーのタスク関連状態変化に関連するキネマティクスを自動的に保存する,軽量なプラグインメモリフレームワーク KEMO を提案する。
830ステップから2846ステップ(28秒から95秒)の軌道長と2~6サブタスクにまたがる実世界のマルチアーム操作タスクにおけるKEMOの評価を行った。
論文 参考訳(メタデータ) (2026-06-22T16:57:43Z) - MemLens: Benchmarking Multimodal Long-Term Memory in Large Vision-Language Models [50.25006399944962]
メモリは、長いマルチモーダル相互作用を扱うために、大きな視覚言語モデルにとって不可欠である。
MEMLENSはマルチモーダルマルチセッション会話におけるメモリのベンチマークである。
我々は27個のLVLMと7個のメモリ増強剤を評価した。
論文 参考訳(メタデータ) (2026-05-14T14:41:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。