論文の概要: What Should Embodied Agents Remember? Benchmarking and Evaluating Memory Modality for Embodied Agents
- arxiv url: http://arxiv.org/abs/2610.12561v1
- Date: Thu, 08 Oct 2026 18:00:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.226696
- Title: What Should Embodied Agents Remember? Benchmarking and Evaluating Memory Modality for Embodied Agents
- Title(参考訳): 身体的エージェントは何を思い出すべきか? 身体的エージェントのメモリモダリティのベンチマークと評価
- Abstract要約: メモリにより、大きな言語モデル(LLM)エージェントは、リクエストに応答するときに、しばしばテキストレコードとして格納される過去の経験を使用することができる。
MeMoREvalは、制御されたエクスペリエンス要求プロトコルを通じてこの問題を研究するためのベンチマークである。
- 参考スコア(独自算出の注目度): 28.01998384150996
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memory allows large language model (LLM) agents to use past experience, often stored as textual records, when responding to requests. For embodied agents that control robots, visual and spatial observations introduce a broader choice of memory modalities, affecting both the information available for subsequent tasks and the model inference costs of constructing and using memory. We introduce MeMoREval, a benchmark for studying this problem through a controlled experience-request protocol. Agents first experience a sequence of events without knowing the subsequent tasks, and subsequently they use memory to respond to information and action requests without receiving new observations. The benchmark comprises 53 tasks across four simulated indoor environments and measures task success alongside the inference costs of memory construction and use. Our reference evaluations reveal that storing frames outperforms storing generated descriptions at lower write-time inference cost for the primary model, while storing frames with scene graphs achieves the highest aggregate task success for every tested model. Extensions to accumulated experience, selective frame retention, and visual input to memory writers demonstrate how the benchmark accommodates further memory-design investigations. Two physical-robot demonstrations establish the feasibility of applying its protocol beyond simulation.
- Abstract(参考訳): メモリにより、大きな言語モデル(LLM)エージェントは、リクエストに応答するときに、しばしばテキストレコードとして格納される過去の経験を使用することができる。
ロボットを制御する実施エージェントにとって、視覚的および空間的観察は、その後のタスクで利用可能な情報と、メモリの構築と使用のモデル推論コストの両方に影響を与える、より広範なメモリモダリティの選択をもたらす。
本稿では,この問題を制御された経験検索プロトコルを用いて研究するためのベンチマークであるMeMoREvalを紹介する。
エージェントは、まず次のタスクを知らずに一連のイベントを経験し、その後、新しい観察を受けずに、情報やアクション要求に応答するためにメモリを使用する。
このベンチマークは、4つの模擬屋内環境にわたる53のタスクで構成され、メモリ構築と使用の推論コストとともにタスクの成功を測定する。
基準評価では, 生成した記述の記憶能力は, プライマリモデルの書き込み時間推定コストが低く, フレームをシーングラフで保存することで, テストされた各モデルに対して最高の集合的タスク成功を達成できることがわかった。
蓄積されたエクスペリエンスへの拡張、選択されたフレーム保持、メモリライターへの視覚的な入力は、ベンチマークがメモリ設計に関するさらなる調査にどのように対応しているかを実証する。
2つの物理ロボットのデモンストレーションは、そのプロトコルをシミュレーションを超えて適用できる可能性を確立している。
関連論文リスト
- Event-Centric Memory with Query-Aware Graph Augmentation for Long-Term Conversational Agents [51.804747364500344]
本稿では,人間の記憶を動機とした新しいメモリ構築とアクティベーションフレームワークQGMemを提案する。
QGMemは、長い対話履歴を個々の体験を保存するイベントインデックス化された原子記憶ユニットに変換する。
検索,マルチホップエビデンス構成,コンフリクト解決,コンパクトな文脈による超長文対話推論において,一貫した利得を示す。
論文 参考訳(メタデータ) (2026-10-08T13:17:59Z) - Just-In-Time Agent Memory with Runtime Agentic Research [22.199769439257754]
メモリはAIエージェントにとって重要である。
多くの既存のエージェントメモリシステムはAhead-of-Time (AOT)設計に従っており、特定の要求が来る前にメモリを構築する。
実行時にクエリ条件付きコンテキスト構築のためのトレーニング可能なフレームワークであるJust-In-Time Agent Memory (JAM)を提案する。
論文 参考訳(メタデータ) (2026-09-28T06:01:09Z) - Memory Control Signals Emerge Before Action in Long Horizon Agents [55.84813053778976]
各エージェントアクションの直前に隠された状態を調べ、圧縮とリコールの要求がモデルの内部表現にすでにエンコードされていることを確認する。
本研究では,状態誘導圧縮と外部エビデンス検索を組み合わせたPreaction Memory with Evidence Retrieval (PaMER)を提案する。
論文 参考訳(メタデータ) (2026-09-23T03:23:34Z) - MemPrism: Task-Conditioned Relational Memory Views for Long-Horizon Agents [14.296334759650918]
ロングホライゾンエージェントは、経験を再利用するためにメモリに依存しているが、既存のメモリシステムは、エビデンスを固定表現によって直接消費できると仮定している。
MemPrismはタスク条件付きリレーショナルメモリフレームワークで、永続的なエクスペリエンスストレージと意思決定時のワーキングメモリを分離する。
MemPrismは、特にトラジェクトリが長くなり、メモリトークンの消費が減少するにつれて、タスクパフォーマンスを継続的に改善する。
論文 参考訳(メタデータ) (2026-08-07T03:13:43Z) - Memory as a Controlled Process: Learned Adaptive Memory Management for LLM Agents [72.3752981234916]
大きな言語モデル(LLM)エージェントは、タスク間の経験を蓄積するために、外部メモリシステムに依存している。
メモリ操作をマルコフ決定プロセスとしてモデル化するフレームワークである制御プロセス(MemCon)としてメモリを提示する。
MemConは、複数のメモリベースラインのタスク成功率を最大15.2ポイント上回り、トークン消費量を5-20%削減している。
論文 参考訳(メタデータ) (2026-07-15T08:32:40Z) - MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。
我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。
私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
論文 参考訳(メタデータ) (2026-06-23T13:52:46Z) - MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。
マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。
MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
論文 参考訳(メタデータ) (2026-02-18T09:49:14Z) - Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions [22.190297901876278]
メモリエージェントに不可欠な4つのコア能力、すなわち、正確な検索、テスト時間学習、長距離理解、選択的忘れの4つを特定した。
既存のベンチマークは、限られたコンテキスト長に依存するか、書籍ベースのQAのような静的で長いコンテキスト設定用に調整されている。
メモリエージェント用に特別に設計された新しいベンチマークであるMemoryAgentBenchを紹介する。
論文 参考訳(メタデータ) (2025-07-07T17:59:54Z) - How Memory Management Impacts LLM Agents: An Empirical Study of Experience-Following Behavior [65.70584076918679]
メモリは、大きな言語モデル(LLM)ベースのエージェントにおいて重要なコンポーネントである。
本稿では,メモリ管理の選択がLLMエージェントの行動,特に長期的パフォーマンスに与える影響について検討する。
論文 参考訳(メタデータ) (2025-05-21T22:35:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。