論文の概要: UniMem: Unifying Multimodal Memory and Control for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2608.22869v1
- Date: Mon, 24 Aug 2026 06:56:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.916054
- Title: UniMem: Unifying Multimodal Memory and Control for Vision-Language-Action Models
- Title（参考訳）: UniMem:ビジョン・ランゲージ・アクションモデルのためのマルチモーダルメモリと制御の統合
- Abstract要約: 我々は,高レベルのマルチモーダルメモリと低レベルの制御を1つのバックボーンの下に統一するフレームワークUniMemを提案する。
逐次記憶と空間記憶を対象とする5つのシミュレーションと4つのハードウェアタスクでUniMemを評価する。
- 参考スコア（独自算出の注目度）: 8.70663346892131
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Vision-Language-Action (VLA) models have leveraged internet-scale pretraining and task-focused finetuning to achieve strong performance on long-horizon tasks, they often struggle with non-Markovian tasks that require memory. Existing approaches to memory typically involve additional Vision-Language-Models (VLMs) for long-term memory management, introducing a memory bottleneck and a fractured training pipeline. Conditioning on multiple historical frames can provide the VLA with access to more descriptive features of past scenes, but can degrade performance if frames are chosen at arbitrary, fixed intervals. To address these limitations, we present UniMem, a framework that unifies high-level, multimodal memory and low-level control under one backbone. UniMem employs an event classifier for memory updates, a keyframe encoder for dense spatial memory, and a keyframe caching technique to minimize overhead during policy rollouts. We evaluate UniMem across five simulation and four hardware tasks targeting sequential and spatial memory, demonstrating that our unified, single-model system outperforms fixed-interval image sampling baselines (93.4% vs. 68.2%) in simulation and hierarchical baselines (80.0% vs. 43.5%) in hardware, while offering faster inference and a simple training pipeline for easy adoption. Project website: https://losterberg3.github.io/unimem-vla/
- Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、インターネットスケールの事前訓練とタスク中心の微調整を活用して、長期のタスクで高いパフォーマンスを達成しているが、メモリを必要とする非マルコフタスクに苦戦することが多い。
既存のメモリへのアプローチは、通常、長期メモリ管理のためのビジョンランゲージモデル(VLM)を追加し、メモリボトルネックと断裂したトレーニングパイプラインを導入する。
複数の歴史的フレームの条件付けは、VLAに過去のシーンのより記述的な特徴へのアクセスを提供するが、フレームが任意の一定間隔で選択された場合、性能を低下させることができる。
これらの制限に対処するため、UniMemは、高レベルでマルチモーダルなメモリと低レベルな制御を1つのバックボーンの下に統一するフレームワークである。
UniMemは、メモリ更新のためのイベント分類器、高密度空間メモリのためのキーフレームエンコーダ、ポリシーロールアウト時のオーバーヘッドを最小限に抑えるキーフレームキャッシュ技術を採用している。
シミュレーションおよび階層ベースライン(80.0% 対 43.5% )をハードウェアで行い、高速な推論と簡単なトレーニングパイプラインを提供することで、固定間隔イメージサンプリングベースライン(93.4% 対 68.2% )よりも優れた結果が得られることを実証した。
プロジェクトウェブサイト: https://losterberg3.github.io/unimem-vla/
関連論文リスト
- Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳（メタデータ） (2026-07-15T08:32:40Z) - NativeMEM: Native Memory Compression for Long-Horizon Robotic Manipulation [22.20970271577043]
我々は、長期およびリアルタイムに更新されたメモリを特徴付けるNativeMEMを提供する。
NativeMEMは、従来の手法を一貫して上回り、シミュレーションでは32.4%から84.0%に、実際のロボットでは98.7%に向上した。
論文 参考訳（メタデータ） (2026-07-07T18:00:53Z) - Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding [47.48582887762574]
ReMemは、トレーニングフリーのLongVideoQAのための時間的粒度適応選択フレームワークである。
メモリ機構で時間情報を明示的に保存することにより、ReMemは冗長性を抑え、MLLMに堅牢なマルチグラニュラビデオ推論を行う権限を与える。
論文 参考訳（メタデータ） (2026-06-30T10:55:56Z) - EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies [68.812675280427]
EventVLAは、疎視的エビデンスメモリの概念に基づいて開発されたエンドツーエンドフレームワークである。
KEMは、VLAの潜伏した埋め込みから将来の確率を直接予測し、スパースでタスククリティカルな視覚イベントを自律的にキャプチャして保存する。
対話型視覚的エビデンスで非マルコフ操作タスクを評価するための診断ベンチマークであるRoboTwin-MeMを提案する。
論文 参考訳（メタデータ） (2026-06-18T11:11:37Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳（メタデータ） (2026-05-20T07:25:33Z) - RoboMemArena: A Comprehensive and Challenging Robotic Memory Benchmark [49.16825786282095]
記憶はロボットインテリジェンスにとって重要な要素であり、ロボットは長期のタスクを達成するために過去の観察と行動に頼る必要がある。
既存のロボットメモリベンチマークには、メモリ形成のためのマルチモーダルアノテーションがなく、タスクカバレッジと構造的複雑さが制限されており、実際の評価なしにシミュレーションに制限されている。
このギャップに対処するため、26タスクの大規模ベンチマークであるRoboMemArenaでは、タスク毎の平均軌道長が1,000ステップを超え、サブタスクの68.9%がメモリ依存である。
論文 参考訳（メタデータ） (2026-05-11T17:54:49Z) - ReMem-VLA: Empowering Vision-Language-Action Model with Memory via Dual-Level Recurrent Queries [45.23935281952228]
本稿では、2組の学習可能なクエリを備えた視覚言語アクション(VLA)モデルであるReMem-VLAを紹介する。
これらのクエリはエンドツーエンドでトレーニングされ、時間とともに関連するコンテキストを集約し、維持する。
ReMem-VLAは複数の次元にまたがる強力なメモリ能力を示す。
論文 参考訳（メタデータ） (2026-03-13T12:38:42Z) - Agentic Memory: Learning Unified Long-Term and Short-Term Memory Management for Large Language Model Agents [57.38404718635204]
大規模言語モデル (LLM) エージェントは、有限コンテキストウィンドウによる長距離推論において基本的な制限に直面している。
既存のメソッドは通常、長期記憶(LTM)と短期記憶(STM)を独立したコンポーネントとして扱う。
本稿では,エージェントのポリシーに LTM と STM 管理を直接統合する統合フレームワークである Agentic Memory (AgeMem) を提案する。
論文 参考訳（メタデータ） (2026-01-05T08:24:16Z) - MemLoRA: Distilling Expert Adapters for On-Device Memory Systems [71.32550994522738]
メモリ拡張大言語モデル(LLM)は対話中に顕著な一貫性を示す。
MemLoRAは、小さなVision-Language Modelを統合する新しいメモリシステムである。
VLM統合MemLoRA-Vはキャプションベースのアプローチで大幅に改善されている。
論文 参考訳（メタデータ） (2025-12-04T12:56:30Z) - Scene-Aware Vectorized Memory Multi-Agent Framework with Cross-Modal Differentiated Quantization VLMs for Visually Impaired Assistance [4.6432462796838125]
本研究では,視覚言語モデル(VLM)のためのクロスモーダル微分量子化フレームワークと,視覚障害者支援のためのシーン認識ベクトル化メモリマルチエージェントシステムを提案する。
モデル性能を維持しながら、メモリ要求を38GBから16GBに効果的に削減し、異なる処理戦略を実装したモジュラーフレームワークを開発した。
論文 参考訳（メタデータ） (2025-08-25T16:32:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。