論文の概要: MemTransfer: Benchmarking Memory Beyond Matched Experience in Embodied Decision-Making
- arxiv url: http://arxiv.org/abs/2609.32313v1
- Date: Sat, 26 Sep 2026 07:14:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-07 17:50:57.142062
- Title: MemTransfer: Benchmarking Memory Beyond Matched Experience in Embodied Decision-Making
- Title（参考訳）: MemTransfer: 身体的意思決定における一致した経験を超えたベンチマークメモリ
- Abstract要約: MemTransferは、メモリ表現、ワーキングメモリベースライン、過去の経験の5つの表現を比較したベンチマークである。
模擬倉庫で10種類のタスクタイプにまたがる100のナビゲーションケースで構成されており、専門家による実演が歴史を提供している。
タスク毎に1回のデモを行うと、フルコンテキストとエピソードメモリは95.3%、最初のデモ開始時に100.0%の成功を収めるが、新しいテスト開始時に48-49ポイントを失う。
- 参考スコア（独自算出の注目度）: 5.853463149460976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Memory lets an embodied agent reuse past experience, yet retaining useful information does not ensure that the agent can apply it when conditions change. We present MemTransfer, a benchmark comparing six memory representations, a working-memory baseline and five representations of past experience, under a shared frozen vision-language-model policy. It comprises 100 navigation cases across ten task types in a simulated warehouse, with expert demonstrations supplying the history. Three comparisons vary the starting pose, route availability, and amount and task relevance of history. With one demonstration per task, Full-context and Episodic memory reach 95.3% and 100.0% success at the original demonstration start, but lose 48-49 percentage points at a new test start. Summary changes little between these two test starts, yet with four demonstrations per task it retains a smaller fraction of its unchanged-route success after blocking (39.3%) than Working memory (44.8%) or the two trajectory memories (56-58%). At the new test start, increasing from one to four relevant demonstrations raises Episodic success by 14.3 percentage points, while the other evaluated representations gain no more than 1.3 percentage points. Replacing half of the relevant histories with other-task experience lowers success for both trajectory memories. These results show that robustness to one kind of mismatch does not imply robustness to another, motivating evaluation of both stored information and its use at decision time.
- Abstract（参考訳）: メモリは、エンボディされたエージェントが過去の経験を再利用することを可能にするが、有用な情報を保持することで、条件が変わったときにエージェントがそれを適用できるようにはならない。
本稿では,6つのメモリ表現,ワーキングメモリベースライン,過去の経験の5つの表現を比較したベンチマークであるMemTransferを,凍結視覚言語モデルポリシーの下で提示する。
模擬倉庫で10種類のタスクタイプにまたがる100のナビゲーションケースで構成されており、専門家による実演が歴史を提供している。
3つの比較では、始まりのポーズ、ルートの可用性、履歴の量とタスクの関連性が異なる。
タスク毎に1回のデモを行うと、フルコンテキストとエピソードメモリは95.3%、最初のデモ開始時に100.0%の成功を収めるが、新しいテスト開始時に48-49ポイントを失う。
概要は2つのテストスタートの間はほとんど変化しないが、タスク毎に4回のデモを行うと、作業メモリ(44.8%)または2つの軌跡記憶(56-58%)よりもブロック後(39.3%)で経路変更の成功のごくわずかしか残っていない。
新しい試験開始時に、関連するデモが1つから4つに増加し、エピソードの成功率が14.3ポイント上昇し、他の評価された表現は1.3ポイントに満たない。
関連する歴史の半分を他のタスク体験に置き換えると、両方の軌跡記憶の成功は低下する。
これらの結果から,あるミスマッチに対するロバスト性は,あるミスマッチに対するロバスト性を示すものではないことが示唆された。
関連論文リスト
- VibeMemBench: Evaluating Memory Systems for Coding Agents on Real Repository Coding Tasks [74.71365175490853]
我々は90のSWE-rebench V2レポジトリから111のコーディングターゲットのメモリシステムを評価するベンチマークであるVibeMemBenchを紹介する。
ターゲットはSWEベンチマークスタイルに従い、バグ修正、機能要求、インターフェースの変更、設定作業をカバーする。
ダイレクトインジェクションは、4つのタスクの解像度を1.1から4.5ポイント引き上げ、エージェントステップを5つに下げる。しかし、4つの既存のメモリシステムが同じ履歴から経験を構築・取得しなければならない場合、12のソルバのうち11のシステムペアリングは一致したメモリオフベースラインを超えない。
論文 参考訳（メタデータ） (2026-09-20T11:44:03Z) - VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。
汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。
モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
論文 参考訳（メタデータ） (2026-09-17T01:24:51Z) - Where Should Experience Live? Hierarchical Hebbian Memory for Continual Vision Transformers [0.0]
視覚変換器は強力な視覚表現を提供するが、通常はゆっくりと更新されたパラメータに依存する。
高速なワーキングメモリ、永続的なルート付きエピソードメモリ、遅いセマンティックメモリからなる3レベルメモリアーキテクチャである。
論文 参考訳（メタデータ） (2026-08-31T20:51:51Z) - Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses [83.32611586724165]
Recurisは、ロングホライゾンエージェントハーネスのためのExperiential-Working Memoryアーキテクチャである。
Work Memoryはタスクの進捗を追跡し、Experiential Memoryからスキル選択をガイドする。
4つのロングホライズンベンチマークと10のモデルでRecurisは37のモデルベンチマークペアのうち35のタスク成功を改善している。
論文 参考訳（メタデータ） (2026-08-25T17:56:35Z) - CONTRAMEM: Learning Self-Evolving Procedural Memory from Contrasting Multi-Model Trajectories [13.649910962870896]
CONTRAMEMは、自己進化型プロシージャメモリのための、ソースフレキシブルでトレーニング不要なフレームワークである。
GAIA2/AREのコンピュータ使用タスクでは、CONTRAMEMは成功率の2倍以上である。
論文 参考訳（メタデータ） (2026-08-23T18:11:26Z) - ContextWeave: A Real-World Workflow Benchmark [44.23367918659128]
ContextWeaveは、現実的なオフィスワークストリームにおいて、リコールされたエクスペリエンスがダウンストリームエージェントのパフォーマンスを改善するかどうかを評価する、時系列ベンチマークである。
関連性、連続性、可溶性、不適切なリコールに対する堅牢性の診断によって補完される、参加者固有の嗜好と品質と整合性を測定する。
分析の結果,実行可能で体験に富んだメモリはワークフロー継続をサポートし,コンパクトなサマリーよりも冗長な探索を効果的に行うことができることがわかった。
論文 参考訳（メタデータ） (2026-08-05T13:31:18Z) - MemSecBench: Tracking Agent Memory Poisoning from Persistence to Consequence and Repair [11.307480451677145]
メモリシステムは、エージェントが過去のインタラクションから情報を保持、再利用することを可能にするが、悪意のあるコンテンツを持続させることもできる。
最近のベンチマークでは、エージェントメモリのセキュリティがますます調査されているが、永続性、下流の結果、選択的な修復など、同じ悪意のあるセマンティクスをトレースするケースはほとんどない。
MemSecBenchはエージェントメモリシステムのライフサイクルセキュリティのベンチマークである。
論文 参考訳（メタデータ） (2026-07-29T16:06:54Z) - WorldMemArena: Evaluating Multimodal Agent Memory Through Action-World Interaction [72.1620416874118]
マルチモーダルな言語モデルは、長距離エージェントとしてますます多くデプロイされている。
既存のベンチマークは、静的対話上のリコールを測定し、メモリを1つのタスクの精度に分解し、キャプションに対する視覚的な観察を減らす。
マルチモーダルエージェントメモリを,観測可能な4段階ライフサイクルを持つアクションワールドインタラクションループとして定式化する。
論文 参考訳（メタデータ） (2026-05-28T04:27:20Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳（メタデータ） (2026-04-09T10:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。