論文の概要: PM-Bench: Evaluating Prospective Memory in LLM Agents
- arxiv url: http://arxiv.org/abs/2607.12385v1
- Date: Tue, 14 Jul 2026 05:57:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:30.047943
- Title: PM-Bench: Evaluating Prospective Memory in LLM Agents
- Title（参考訳）: PM-Bench: LLMエージェントにおける前向き記憶の評価
- Abstract要約: PM-Benchは、現代のLLMエージェントの予測メモリ能力を測定するためのテキストベースのベンチマークである。
認知科学から仮想ウィークパラダイムにインスパイアされたPM-Benchは、LLMエージェントがユーザの意図をいかにうまく維持するかを評価する。
- 参考スコア（独自算出の注目度）: 6.224261776704835
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A significant challenge in agentic AI is prospective memory: the ability to execute an intention at a specific future cue or state while other activities are ongoing. We introduce PM-Bench, a text-based benchmark for measuring prospective memory capabilities in modern LLM agents. Inspired by the Virtual Week paradigm from cognitive science, PM-Bench evaluates how well LLM agents maintain user intentions, execute delayed intentions, and monitor latent environment changes. Over the course of a simulated seven-day week, agents must continue an ongoing activity while deciding whether any deferred task is due. We compare eight state-of-the-art LLMs on PM-Bench under eight different agent configurations. PM-Bench proves challenging across all settings: the best method, a GPT-5.4 agent, reaches only 65.1\% F1 score under our evaluation. Furthermore, no single strategy for improving prospective memory dominates across models. We release PM-Bench as a controlled testbed for diagnosing these failures and developing training or inference-time interventions that support reliable prospective behavior.
- Abstract（参考訳）: エージェントAIにおける重要な課題は、予測記憶である:他のアクティビティが進行中である間に、特定の将来のキューや状態で意図を実行する能力である。
PM-Benchは、現代のLLMエージェントの予測メモリ能力を測定するためのテキストベースのベンチマークである。
認知科学のVirtual WeekパラダイムにインスパイアされたPM-Benchは、LLMエージェントがユーザの意図を維持し、遅延した意図を実行し、潜伏した環境の変化を監視することを評価する。
シミュレーションされた7日間の週を通じて、エージェントは、延期されたタスクが予定されているかどうかを判断しながら、継続的な活動を続けなければならない。
PM-Bench上の8つの最先端LCMを8種類のエージェント構成で比較する。
GPT-5.4エージェントであるPM-Benchは、評価において65.1\% F1スコアにしか達していない。
さらに、予測メモリを改善するための単一の戦略は、モデル間で優位に立たない。
われわれはPM-Benchをこれらの障害を診断し、信頼性の高い予測行動を支援するトレーニングや推論時間の介入を開発するための制御テストベッドとしてリリースする。
関連論文リスト
- PAST-Bench: Benchmarking the Foundations of Recursive Self-Improvement in Personal Agents [50.9061759859778]
PAST-Benchは、保持されたエクスペリエンスがエージェントを時間とともに実際に改善するかどうかを識別するために設計されたベンチマークである。
遅延タスクのゲインと、そのゲインが意図したセーブ、リトリーブ、更新パスに従うかどうかを報告します。
我々はHermes+を開発し、エージェントループの段階にわたって5つのターゲット的介入でHermesを拡張した。
論文 参考訳（メタデータ） (2026-08-04T17:58:05Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳（メタデータ） (2026-05-11T00:04:19Z) - AgentEscapeBench: Evaluating Out-of-Domain Tool-Grounded Reasoning in LLM Agents [35.967227261886435]
AgentEscapeBenchは、エージェントが明示的な長距離依存性制約の下で新しいツールの使用手順を推論、実行、修正できるかどうかをテストする。
16個のLDMエージェントとヒトの被験者による実験では、依存性の深さが増加するにつれて性能が急激に低下することが示された。
軌道解析は、主に長距離状態追跡、手がかり付着、中間相対伝播における故障をモデル化する。
論文 参考訳（メタデータ） (2026-05-08T15:59:27Z) - BEAR: Benchmarking and Enhancing Multimodal Language Models for Atomic Embodied Capabilities [61.173773299032746]
身体能力とは、エージェントが物理的世界を理解し、理解し、相互作用する一連の基本的な能力を指す。
我々は,原子エンボディド能力のMLLMを評価する,包括的できめ細かなベンチマークであるBEARを紹介する。
BEARは、低レベルポインティング、軌跡理解、空間的推論、高レベルプランニングといったタスクを含む、14のドメインにまたがる4,469のインターリーブイメージビデオテキストエントリで構成されている。
我々は,MLLM知覚,3D理解,計画能力を強化するために,事前学習された視覚モデルを統合するマルチモーダル・コンバータブルエージェントであるBEAR-Agentを提案する。
論文 参考訳（メタデータ） (2025-10-09T19:18:36Z) - Memento: Fine-tuning LLM Agents without Fine-tuning LLMs [36.3424780932712]
本稿では,適応型大言語モデル(LLM)エージェントのための新しい学習パラダイムを提案する。
本手法は,メモリベースのオンライン強化学習により,低コストで連続的な適応を可能にする。
我々はエージェントモデルを,GAIA検証でトップ1に達するemphMementoというディープリサーチ環境でインスタンス化する。
論文 参考訳（メタデータ） (2025-08-22T07:25:30Z) - LifelongAgentBench: Evaluating LLM Agents as Lifelong Learners [51.518410910148816]
しかし、現在の大規模言語モデル(LLM)ベースのエージェントは、状態のままであり、時間とともに知識を蓄積または転送することができない。
LLMエージェントの生涯学習能力を体系的に評価するために設計された最初の統合ベンチマークであるLifelongAgentBenchを紹介する。
論文 参考訳（メタデータ） (2025-05-17T10:09:11Z) - MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? [66.87201770167012]
MLRC-Benchは、機械学習(ML)リサーチコンペティションの挑戦において、言語エージェントがいかに効果的に対処できるかを定量化するために設計されたベンチマークである。
MLRC-Benchは以前の研究とは異なり、新しい研究手法を提案し、実装する上で重要なステップを計測する。
最も優れた試験薬でさえ、ベースラインとトップヒューマンのスコアの差の9.3%しか閉じていない。
論文 参考訳（メタデータ） (2025-04-13T19:35:43Z) - How Far Are We on the Decision-Making of LLMs? Evaluating LLMs' Gaming Ability in Multi-Agent Environments [83.78240828340681]
GAMA($gamma$)-Benchは、マルチエージェント環境における大規模言語モデルのゲーム能力を評価するための新しいフレームワークである。
$gamma$-Benchは8つの古典ゲーム理論シナリオと、LSMの性能を評価するために特別に設計された動的スコアリングスキームを含んでいる。
以上の結果から, GPT-3.5は強い強靭性を示すが, 一般化性は限定的であり, Chain-of-Thoughtのような手法で拡張可能であることが示唆された。
論文 参考訳（メタデータ） (2024-03-18T14:04:47Z) - AgentBench: Evaluating LLMs as Agents [99.12825098528212]
エージェントとしてのLarge Language Model (LLM)は近年広く認知されている。
我々は,LLM-as-Agentの推論と意思決定能力を評価するために,8つの異なる環境からなるベンチマークであるAgentBenchを提案する。
論文 参考訳（メタデータ） (2023-08-07T16:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。