論文の概要: A Benchmark for Procedural Memory Retrieval in Language Agents

• arxiv url: http://arxiv.org/abs/2511.21730v1
• Date: Fri, 21 Nov 2025 08:08:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.180278
• Title: A Benchmark for Procedural Memory Retrieval in Language Agents
• Title（参考訳）: 言語エージェントの手続き記憶検索のためのベンチマーク
• Authors: Ishant Kohar, Aswanth Krishnan,
• Abstract要約: 現在のAIエージェントは、慣れ親しんだ設定で優れていますが、目に見えないProcで新しいタスクに直面したとき、急激に失敗します。 タスク実行から手続き的メモリ検索を分離する最初のベンチマークを示す。 埋め込み型手法は、慣れ親しんだ文脈で強く機能するが、新規な手法では著しく劣化する。
• 参考スコア（独自算出の注目度）: 0.023227405857540805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current AI agents excel in familiar settings, but fail sharply when faced with novel tasks with unseen vocabularies -- a core limitation of procedural memory systems. We present the first benchmark that isolates procedural memory retrieval from task execution, evaluating whether agents can recognize functionally equivalent procedures that span different object instantiations. Using ALFWorld, we construct dual corpora of expert and LLM-generated trajectories and evaluate six retrieval methods using systematically stratified queries. Our results expose a clear generalization cliff: embedding-based methods perform strongly on familiar contexts, yet degrade considerably on novel ones, while LLM-generated procedural abstractions demonstrate reliable cross-context transfer. Controlled ablations show that although embeddings capture some lexical-level abstraction, they fundamentally treat procedures as unordered bags of words, discarding temporal structure necessary for cross-context transfer. Corpus scale delivers far larger gains than representation enrichment, revealing an architectural ceiling in current encoders. Our benchmark offers the first diagnostic framework separating genuine procedural understanding from surface-level memorization and gives tools for developing retrieval systems capable of dependable generalization. Resources available at our GitHub repository (https://github.com/qpiai/Proced_mem_bench).
• Abstract（参考訳）: 現在のAIエージェントは、慣れ親しんだ設定で優れていますが、未知の語彙を持つ新しいタスクに直面した場合には、急速に失敗します。 タスク実行から手続き的メモリ検索を分離する最初のベンチマークを行い、異なるオブジェクトインスタンス化にまたがる機能的に等価なプロシージャをエージェントが認識できるかどうかを評価する。 ALFWorldを用いて,エキスパートとLLM生成トラジェクトリの二重コーパスを構築し,体系的階層化クエリを用いた6つの検索手法を評価する。 埋め込み型手法は、慣れ親しんだ文脈で強く機能するが、新規な手法では著しく低下する一方、LLM生成した手続き的抽象化は、信頼性の高いクロスコンテキスト転送を示す。 制御されたアブレーションは、埋め込みは語彙レベルの抽象を捉えるが、基本的には手続きを単語の順序のない袋として扱い、コンテキスト間移動に必要な時間構造を捨てていることを示している。 コーパススケールは、表現の豊かさよりもはるかに大きな利益をもたらし、現在のエンコーダのアーキテクチャの天井を明らかにします。 我々のベンチマークでは,表面レベルの記憶から真に手続き的理解を分離する最初の診断フレームワークを提供し,信頼性の高い一般化が可能な検索システムを開発するためのツールを提供する。 GitHubリポジトリで利用可能なリソース(https://github.com/qpiai/Proced_mem_bench)。

関連論文リスト

• LLM-guided Hierarchical Retrieval [54.73080745446999]
  LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。 LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。 我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2025-10-15T07:05:17Z)
• CAM: A Constructivist View of Agentic Memory for LLM-Based Reading Comprehension [55.29309306566238]
  現在のLarge Language Models (LLM) は、長文文書を解釈する際に圧倒的な情報量に直面している。 この課題は、バニラLSMを自律的な読み出しエージェントに高めることができる凝集性メモリモジュールの必須性を高める。 我々はジャン・ピアジェの構成主義理論(Constructivist Theory)からインスピレーションを得て、エージェントメモリの3つの特性(構造化スキーマ、フレキシブルな同化、動的調節)を表現した。
  論文  参考訳（メタデータ） (2025-10-07T02:16:30Z)
• Hierarchical Memory for High-Efficiency Long-Term Reasoning in LLM Agents [19.04968632268433]
  大規模言語モデルエージェント(LLMエージェント)のための階層型メモリアーキテクチャを提案する。 各メモリベクトルは、次の層のセマンティック関連サブメモリを指し示す位置インデックスが埋め込まれている。 推論フェーズにおいて、インデックスベースのルーティング機構は、網羅的な類似性計算を行うことなく、効率的な層間検索を可能にする。
  論文  参考訳（メタデータ） (2025-07-23T12:45:44Z)
• ELITE: Embedding-Less retrieval with Iterative Text Exploration [5.8851517822935335]
  大規模言語モデル(LLM)は自然言語処理において顕著な進歩を遂げた。 長期のコンテキスト制約を維持する能力は、ドキュメントレベルやマルチターンタスクのパフォーマンスを制限します。
  論文  参考訳（メタデータ） (2025-05-17T08:48:43Z)
• Emulating Retrieval Augmented Generation via Prompt Engineering for Enhanced Long Context Comprehension in LLMs [23.960451986662996]
  本稿では,レトリーバル拡張生成(RAG)を特殊エンジニアリングとチェーンオブ思考推論によりエミュレートする手法を提案する。 我々は,BABILong から選択したタスクに対するアプローチを評価し,大量の散逸テキストを用いた標準 bAbI QA 問題をインターリーブする。
  論文  参考訳（メタデータ） (2025-02-18T02:49:40Z)
• MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation [60.04380907045708]
  Retrieval-Augmented Generation (RAG)は、この問題に対処するための有望な戦略と考えられている。 我々は,グローバルメモリ拡張検索による新しいRAGフレームワークであるMemoRAGを提案する。 MemoRAGは、様々な長期コンテキスト評価タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-09T13:20:31Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。