論文の概要: AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents
- arxiv url: http://arxiv.org/abs/2611.16590v1
- Date: Thu, 12 Nov 2026 10:23:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.445445
- Title: AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents
- Title(参考訳): AstroMemBench: 宇宙機エージェントのメモリシステムのベンチマーク
- Abstract要約: 長期の宇宙船の自律性には、通信遅延、時間クリティカルな運用、環境の不確実性、複雑な物理的相互作用、電力と計算の制約、安全と信頼性の要求の下での運用履歴を使用するための実施エージェントが必要である。
本稿では,AstroMemBenchとScenario-Challenge-Capability設計手法を紹介し,これらの要件を実行可能なメモリテストにマッピングする。
このベンチマークでは、惑星の表面操作、軌道上サービス、深宇宙探査の9つのタスクにまたがる、140のテンプレートと2240のインスタンスを通して16のメモリのサブチャンジをカバーしている。
- 参考スコア(独自算出の注目度): 5.203758848280734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-term spacecraft autonomy requires embodied agents to use operational history under communication delays, time-critical operations, environmental uncertainty, complex physical interactions, power and computational constraints, and safety and reliability requirements. We introduce AstroMemBench and a Scenario-Challenge-Capability design method that maps these requirements to executable memory tests. The benchmark covers 16 memory subchallenges through 140 templates and 2240 instances across nine tasks in planetary surface operations, on-orbit servicing, and deep-space exploration. A deterministic environment scores actions for task completion, state changes, safety, and resource use. Ablations under nine conditions show that the benchmark is sensitive to how accurately agents recover and use historical information and to differences in memory-system design. Main experiments compare six configurations. Mem0, Chain-of-Memory, LightMem, and retrieval-augmented generation (RAG) improve same-session mean scores over native Pi Agent, with no clear advantage of the three memory systems over RAG. After a session restart, Mem0 outperforms RAG by 12.25 points. Benefits favor instruction retention and result reuse over ongoing state tracking and energy reservation. AstroMemBench supports the design, development, and selection of memory systems for embodied spacecraft agents. AstroMemBench 1.0 and its evaluation code are publicly available: https://github.com/flyingView/AstroMemBench-v1.
- Abstract(参考訳): 長期の宇宙船の自律性には、通信遅延、時間クリティカルな運用、環境の不確実性、複雑な物理的相互作用、電力と計算の制約、安全と信頼性の要求の下での運用履歴を使用するための実施エージェントが必要である。
本稿では,AstroMemBenchとScenario-Challenge-Capability設計手法を紹介し,これらの要件を実行可能なメモリテストにマッピングする。
このベンチマークでは、惑星の表面操作、軌道上サービス、深宇宙探査の9つのタスクにまたがる、140のテンプレートと2240のインスタンスを通して16のメモリのサブチャンジをカバーしている。
決定論的環境は、タスク完了、状態変更、安全性、リソース使用のためのアクションをスコアする。
9つの条件下でのアブレーションは、ベンチマークが履歴情報の回復と利用の正確さ、メモリシステム設計の違いに敏感であることを示している。
主な実験は6つの構成の比較である。
Mem0、Chain-of-Memory、LightMem、Recovery-augmented Generation (RAG)は、ネイティブのPi Agentよりも同じセッション平均スコアを改善するが、RAGよりも3つのメモリシステムに明確な利点はない。
セッション再開後、Mem0はRAGを12.25ポイント上回った。
利益は、継続中の状態追跡とエネルギー予約よりも、命令の保持と結果の再利用を好んでいる。
AstroMemBenchは、エンボディされた宇宙船エージェントのためのメモリシステムの設計、開発、選択をサポートする。
AstroMemBench 1.0とその評価コードは、https://github.com/flyingView/AstroMemBench-v1.comで公開されている。
関連論文リスト
- MUSE: Multi-Level Memory with Selective Runtime Injection for Scientific Coding Agents [60.804459913400315]
MUSEは、科学的なコーディングエージェントのためのメモリ管理フレームワークである。
歴史的軌跡からグローバル、アプローチレベル、実装レベルのメモリを構築する。
実行中、現在のインタラクションは実装レベルのメモリを取得するために使用される。
論文 参考訳(メタデータ) (2026-10-28T06:32:51Z) - MEMOBench: A Process Level Memory Benchmark for Robotic Manipulation [36.81053166644513]
ロボット操作におけるプロセスレベルのメモリ評価のベンチマークである textbfMEMOBench を提案する。
MEMOBenchには30の履歴依存タスク、1500のエキスパートデモ、84のテンプレートから4,200の実行可能なチェックポイントインスタンスが含まれている。
論文 参考訳(メタデータ) (2026-09-07T05:06:20Z) - Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents [97.19033877543522]
本稿では,メモリ拡張剤のメモリ基板の制御ハーネス評価について述べる。
統一されたハーネスの下で26のパフォーマンスと効率のメトリクスを計測する。
これらの知見は、アダプティブエージェントメモリシステムに必要なコンポーネントとして、基質ルーティングを動機付けている。
論文 参考訳(メタデータ) (2026-08-15T03:29:48Z) - MemGym: a Long-Horizon Memory Environment for LLM Agents [69.79226770543049]
本稿では,エージェントメモリのベンチマークであるMemGymを紹介する。
MemGymは、メモリパフォーマンスを推論、検索、ツール使用能力から切り離すメモリアイソレーションスコアを報告している。
MEMGYM-CODEQAとMEMGYM-DRの合成パイプラインは、長さ制御可能であり、各ステージでアブレーションを検証可能であり、下流のシナリオと密に整合している。
論文 参考訳(メタデータ) (2026-05-20T07:25:33Z) - EvoMemBench: Benchmarking Agent Memory from a Self-Evolving Perspective [21.66000179149483]
EvoMemBenchは、メモリスコープとメモリ内容の2つの軸に沿って編成された統一ベンチマークである。
本稿では,15個の代表記憶法と強い長文ベースラインを標準プロトコルで比較する。
結果は、現在のメモリシステムは、まだ一般的な解決策には程遠いことを示している。
論文 参考訳(メタデータ) (2026-05-18T13:54:38Z) - LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues [80.29362825271768]
LongMemEval-V2は、メモリシステムが、カスタマイズされた環境で知識のある同僚になるために必要な経験を得るのに役立つかどうかを評価するためのベンチマークである。
LME-V2には、Webエージェントの5つのコアメモリ能力をカバーする451の質問が含まれている。
AgentRunbook-Rは生の状態観察,イベント,戦略ノートのための知識プールを備えた,効率的なRAGベースのメモリであり,AgentRunbook-Cはトラジェクトリをファイルとして格納し,コードエージェントを起動して,拡張サンドボックスに証拠を収集する。
論文 参考訳(メタデータ) (2026-05-12T17:59:34Z) - VehicleMemBench: An Executable Benchmark for Multi-User Long-Term Memory in In-Vehicle Agents [26.570500371051903]
車両をベースとしたエージェントは、単純なアシスタントから長期のコンパニオンへと進化している。
既存のベンチマークでは、好みの時間的進化と、実車環境のマルチユーザ、ツール-インタラクティブな性質を捉えられていない。
本稿では,車内シミュレーション環境上に構築されたマルチユーザ長コンテキストメモリベンチマークであるVabyMemBenchを紹介する。
論文 参考訳(メタデータ) (2026-03-25T01:54:28Z) - RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies [54.23445842621374]
記憶は、長い水平と歴史に依存したロボット操作にとって重要である。
近年,視覚言語アクション(VLA)モデルにメモリ機構が組み込まれ始めている。
本稿では,VLAモデルの評価と進展のための大規模標準ベンチマークであるRoboMMEを紹介する。
論文 参考訳(メタデータ) (2026-03-04T21:59:32Z) - RMBench: Memory-Dependent Robotic Manipulation Benchmark with Insights into Policy Design [77.30163153176954]
RMBenchは、メモリの複雑さの複数のレベルにまたがる9つの操作タスクからなるシミュレーションベンチマークである。
Mem-0は、制御アブレーション研究をサポートするために設計された明示的なメモリコンポーネントを備えたモジュラー操作ポリシーである。
既存のポリシにおけるメモリ関連の制限を特定し、アーキテクチャ設計の選択がメモリパフォーマンスに与える影響に関する実証的な洞察を提供する。
論文 参考訳(メタデータ) (2026-03-01T18:59:59Z) - Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning [41.94295877935867]
メモリは、エージェントが時間的および空間的依存関係を持つ複雑なタスクに対処できるようにするために不可欠である。
多くの強化学習アルゴリズムにはメモリが組み込まれているが、エージェントのメモリ能力を評価するための普遍的なベンチマークがない。
メモリRLの総合ベンチマークであるMIKASAを紹介する。
論文 参考訳(メタデータ) (2025-02-14T20:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。