論文の概要: IFCMemoryBench: Evaluating Long-Term Memory of LLM-Based Agents in BIM Information Retrieval

• arxiv url: http://arxiv.org/abs/2607.26072v1
• Date: Mon, 13 Jul 2026 08:45:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:39.097576
• Title: IFCMemoryBench: Evaluating Long-Term Memory of LLM-Based Agents in BIM Information Retrieval
• Title（参考訳）: IFCMemoryBench:BIM情報検索におけるLLMエージェントの長期記憶の評価
• Abstract要約: LLM情報検索における長期記憶評価のためのベンチマークであるIFCMemoryBenchを紹介する。 IFCMemoryBenchには19のプロジェクトと4,016のセッションで143のマルチセッションタスクが含まれている。 評価フレームワークは, メモリ性能を摂取, 検索, 利用に分解し, LLM審査員による回答品質とメモリ品質の両面を計測する。
• 参考スコア（独自算出の注目度）: 39.66871834776678
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Long-term memory is becoming a core capability of LLM-based agents, but existing evaluations largely test conversational recall in open-domain or persona-grounded settings. We argue that a stronger test is whether an agent can reuse information from prior sessions while acting over a live, structured, domain-specific environment. We study this problem in Building Information Modelling (BIM), a professional engineering workflow where agents must query large IFC models while also relying on project specifications, client decisions, and engineering conventions often discussed in conversation but absent from the model. We introduce IFCMemoryBench, a benchmark for evaluating long-term memory in LLM-based BIM information retrieval. IFCMemoryBench contains 143 multi-session tasks across 19 projects and 4,016 prior sessions, derived from incomplete-information questions in IFC-Bench v2. Each task seeds missing project context across earlier conversations and later asks a probe question that can be answered only by combining remembered context with live IFC queries. Our evaluation framework decomposes memory performance into ingestion, retrieval, and utilization, and measures both answer quality and memory quality with expert-validated LLM judges. We evaluate representative vector-, graph-, and file-based memory systems. The strongest system achieves only 32.4% answer accuracy under a deployment-realistic ingestion scope, and remains below 60% under oracle-filtered ingestion or a stronger probe agent. Analysis shows that current general-purpose memory systems often retrieve topically relevant context but store project knowledge as incomplete or fragmented facts. These results reveal a domain-transfer gap in agent memory and suggest that reliable professional agents require domain-aware memory representations linking conversations, project knowledge, and structured model entities.
• Abstract（参考訳）: 長期記憶はLLMベースのエージェントの中核機能になりつつあるが、既存の評価では、オープンドメインやペルソナグラウンドの設定での会話的リコールを主にテストしている。 より強力なテストは、エージェントがライブで構造化されたドメイン固有の環境上で動作しながら、前のセッションから情報を再利用できるかどうかである。 我々は,BIM(Building Information Modelling)において,エージェントが大規模IFCモデルに問い合わせると同時に,プロジェクト仕様やクライアント決定,エンジニアリングコンベンションに頼らなければならない専門的なエンジニアリングワークフローについて検討する。 我々は,LLMに基づくBIM情報検索における長期記憶評価のベンチマークであるIFCMemoryBenchを紹介する。 IFCMemoryBenchには19のプロジェクトと4,016のセッションで143のマルチセッションタスクが含まれている。 各タスクは、以前の会話にまたがってプロジェクトコンテキストをシードし、後に、記憶されたコンテキストとライブIFCクエリを組み合わせることでのみ答えられるプローブ質問を問う。 評価フレームワークは, メモリ性能を摂取, 検索, 利用に分解し, LLM審査員による回答品質とメモリ品質の両面を計測する。 我々は,代表ベクトル,グラフ,およびファイルベースのメモリシステムを評価する。 最強のシステムは、展開現実的な摂取範囲で32.4%の回答精度しか達成せず、オラクルフィルターによる摂取またはより強力なプローブエージェントの下では60%以下である。 分析によると、現在の汎用メモリシステムは、しばしばトポロジ的に関連するコンテキストを検索するが、プロジェクトの知識を不完全または断片化された事実として保存する。 これらの結果は、エージェントメモリにおけるドメイン・トランスファーのギャップを明らかにし、信頼性の高いプロのエージェントは、会話、プロジェクト知識、構造化モデルエンティティをリンクするドメイン・アウェアなメモリ表現を必要とすることを示唆している。

関連論文リスト

• MEMPROBE: Probing Long-Term Agent Memory via Hidden User-State Recovery [58.64329475683699]
  我々は、長期記憶は監査可能な相互作用後のアーティファクトとして評価されるべきであると主張している。 我々は、メモリを備えたエージェントがシミュレーションユーザを支援するベンチマークであるMEMPROBEで、このビューをインスタンス化する。 私たちは、成功したアシストと回復可能なメモリが、異なる機能として振る舞うことに気付きました。
  論文  参考訳（メタデータ） (2026-06-23T13:52:46Z)
• TA-Mem: Tool-Augmented Autonomous Memory Retrieval for LLM in Long-Term Conversational QA [8.036549927091286]
  大規模言語モデル(LLM)は、様々なドメインにわたるテキストベースのコンテキストにおいて強力な推論能力を示した。 コンテキストウィンドウの制限は、長距離推論タスクにおけるモデルの課題を引き起こす。 ツール拡張型自律メモリ検索フレームワーク(TA-Mem)を導入する。 TA-MemはLoCoMoデータセットで評価され、既存のベースラインアプローチよりも大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2026-03-10T07:27:01Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)
• PlugMem: A Task-Agnostic Plugin Memory Module for LLM Agents [74.4491017652226]
  タスク固有の再設計なしに任意のLLMエージェントにアタッチ可能なタスク非依存メモリモジュールであるPlugMemを提案する。 意思決定関連情報が生の経験よりも抽象的な知識として集中しているという事実に感銘されて、認識科学に焦点をあてて、エピソード記憶をコンパクトで知識中心の記憶グラフに構造化する。 PlugMemを3つのベンチマーク(長期会話型質問応答、マルチホップ知識検索、Webエージェントタスク)で評価する。
  論文  参考訳（メタデータ） (2026-02-06T18:55:38Z)
• Mem-Gallery: Benchmarking Multimodal Long-Term Conversational Memory for MLLM Agents [76.76004970226485]
  長期記憶はマルチモーダル大言語モデル(MLLM)エージェントにとって重要な機能である。 Mem-GalleryはMLLMエージェントのマルチモーダル長期会話メモリ評価のための新しいベンチマークである。
  論文  参考訳（メタデータ） (2026-01-07T02:03:13Z)
• Evo-Memory: Benchmarking LLM Agent Test-time Learning with Self-Evolving Memory [89.65731902036669]
  Evo-Memoryは、大規模言語モデル(LLM)エージェントで自己進化型メモリを評価するための、ストリーミングベンチマークとフレームワークである。 10以上の代表的なメモリモジュールを評価し、10種類の多ターンゴール指向およびシングルターン推論およびQAデータセットで評価した。
  論文  参考訳（メタデータ） (2025-11-25T21:08:07Z)
• MEMTRACK: Evaluating Long-Term Memory and State Tracking in Multi-Platform Dynamic Agent Environments [6.12783571098263]
  MEMTRACKは、マルチプラットフォームエージェント環境における長期記憶と状態追跡を評価するために設計されたベンチマークである。 それぞれのベンチマークインスタンスは、ノイズ、競合、相互参照情報を備えた、時系列的にプラットフォームインターリーブされたタイムラインを提供する。 ベンチマークでは、取得、選択、競合解決などのメモリ機能をテストしています。
  論文  参考訳（メタデータ） (2025-10-01T18:34:03Z)
• Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions [22.190297901876278]
  メモリエージェントに不可欠な4つのコア能力、すなわち、正確な検索、テスト時間学習、長距離理解、選択的忘れの4つを特定した。 既存のベンチマークは、限られたコンテキスト長に依存するか、書籍ベースのQAのような静的で長いコンテキスト設定用に調整されている。 メモリエージェント用に特別に設計された新しいベンチマークであるMemoryAgentBenchを紹介する。
  論文  参考訳（メタデータ） (2025-07-07T17:59:54Z)
• MemBench: Towards More Comprehensive Evaluation on the Memory of LLM-based Agents [26.647812147336538]
  LLMをベースとしたエージェントのメモリ能力を評価するため,より包括的なデータセットとベンチマークを構築した。 本データセットは,現実記憶と反射記憶を異なるレベルに含み,様々な対話的シナリオとして参加と観察を提案する。 本データセットに基づいて,LLMをベースとしたエージェントのメモリ能力を評価するベンチマーク,MemBenchを提案する。
  論文  参考訳（メタデータ） (2025-06-20T10:09:23Z)
• Memory Sharing for Large Language Model based Agents [43.53494041932615]
  本稿では,リアルタイムメモリフィルタ,ストレージ,検索を統合し,In-Context学習プロセスを強化するためのフレームワークであるMemory Sharingを紹介する。 実験の結果,MSフレームワークはオープンな質問に対処する際のエージェントの性能を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-04-15T17:57:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。