論文の概要: SocialMemBench: Are AI Memory Systems Ready for Social Group Settings?

• arxiv url: http://arxiv.org/abs/2605.17789v1
• Date: Mon, 18 May 2026 03:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:48.694208
• Title: SocialMemBench: Are AI Memory Systems Ready for Social Group Settings?
• Title（参考訳）: SocialMemBench: AIメモリシステムはソーシャルグループ設定に対応しているか?
• Authors: Olukunle Owolabi,
• Abstract要約: AIアシスタントのメモリシステムは、シングルユーザー対話用に構築され、マルチパーティのソーシャルグループ設定に適用した場合、特徴的にフェールする。 既存のメモリベンチマークでは、ダイアディックや職場での対話が評価されている。 人工ソーシャルグループネットワークのベンチマークであるSocialMemBenchを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memory systems for AI assistants were built for single-user dialogue and fail characteristically when applied to multi-party social group settings. This gap matters for the social assistants being built today: group-acting agents embedded in chat platforms, and proactive personal-assistant agents whose holistic model of a user must include their social context. Existing memory benchmarks evaluate dyadic or workplace dialogue; none targets multi-party social groups, where memory must anchor facts in shared history rather than professional roles, separate group norms from individual exceptions, and correctly attribute even after member departure. We introduce SocialMemBench, a benchmark of human-verified synthetic social group networks across five archetypes (close friends, family, recreational, interest community, acquaintance network) and three group-size tiers (4-30 members), with 430 personas and 7,355 conversation turns, yielding 1,031 QA pairs across nine question categories. Each category isolates an architectural capability, and the five failure modes (single-stream conflation, temporal-state overwrite, entity merging at scale, missing cross-persona knowledge, norm-individual conflation) are testable hypotheses; our two research probes Subject-Mem and SMG provide evidence on two, three remain open. A full-context Gemini 2.5 Flash reference reaches only 0.721 against a blind-critic reasoning-model mean of 0.98 on small networks, indicating the benchmark is genuinely difficult even with complete access to the conversation. Across all 43 networks, the four open-source memory frameworks evaluated (Mem0, LangMem, Graphiti, Cognee) cluster in the 0.12-0.18 question-weighted range with overlapping 95% CIs, well below an uncompressed retrieval reference of 0.345 and a matched-answerer full-context reference of 0.369 (GPT-4o-mini). Current memory systems show a measurable gap.
• Abstract（参考訳）: AIアシスタントのメモリシステムは、シングルユーザー対話用に構築され、マルチパーティのソーシャルグループ設定に適用した場合、特徴的にフェールする。 このギャップは、チャットプラットフォームに埋め込まれたグループアクションエージェントや、ユーザーの全体モデルにソーシャルコンテキストを含めなければならないアクティブなパーソナルアシスタントエージェントなど、現在構築されているソーシャルアシスタントにとって重要である。 既存のメモリベンチマークでは、ダイアディックや職場での対話は評価されていない; 複数政党の社会グループをターゲットにしており、メモリはプロフェッショナルな役割ではなく、共有された歴史の中で事実を固定し、個々の例外からグループ規範を分離し、メンバーが去った後も正しく属性付けしなければならない。 ソーシャルミームベンチ(SocialMemBench)は、5つのアーチタイプ(親しい友人、家族、レクリエーション、興味のあるコミュニティ、知り合いのネットワーク)と3つのグループサイズの階層(4-30人)を対象とし、430人のペルソナと7,355人の会話を交互に行い、9つの質問カテゴリで1,031のQAペアを得る。 各カテゴリはアーキテクチャ機能を分離し,5つのフェールモード(単一ストリーム・コンフリレーション,時間的オーバライト,大規模にマージするエンティティ・マージ,クロスパーソン・ナレッジの欠如,ノルム・インビデンシャル・コンフレレーション)は検証可能な仮説である。 フルコンテキストのGemini 2.5 Flashリファレンスは、小さなネットワークで盲目的の推論モデル平均0.98に対してわずか0.721に達し、会話に完全にアクセスしてもベンチマークが本当に難しいことを示している。 43のネットワーク全体にわたって、4つのオープンソースメモリフレームワーク(Mem0、LangMem、Graphiti、Cognee)は、95%のCIをオーバーラップした0.12-0.18の質問重み付き範囲で評価され、0.345の圧縮されていない参照と一致した回答の完全なコンテキスト参照0.369(GPT-4o-mini)よりかなり低い。 現在のメモリシステムは測定可能なギャップを示している。

関連論文リスト

• GroupMemBench: Benchmarking LLM Agent Memory in Multi-Party Conversations [25.703133924514884]
  大規模言語モデル(LLM)エージェントは、ますますパーソナルアシスタントや職場の協力者として機能している。 既存のメモリシステムとベンチマークは、Dyadicのシングルユーザ設定を中心に構築されている。 グループメモリの3つの特性を公開するベンチマークであるGroupMemBenchを紹介する。
  論文  参考訳（メタデータ） (2026-05-14T07:38:29Z)
• MemReranker: Reasoning-Aware Reranking for Agent Memory Retrieval [37.54115468116941]
  本報告では,Qwen3-Reranker を用いた多段 LLM 知識蒸留によるリグレードモデルファミリ MemReranker (0.6B/4B) について紹介する。 メモリ検索ベンチマークでは、MemReranker-0.6BはBGE-Rerankerを大きく上回り、オープンソースの4B/8BモデルとGPT-4o-miniをキーメトリクスでマッチングする。 MemReranker-4B はさらに 0.737 MAP を達成し、Gemini-3-Flash と同等のメトリクスを持つ一方で、推論遅延を10-20%の大型モデルで維持している。
  論文  参考訳（メタデータ） (2026-05-07T12:33:57Z)
• ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
  LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。 ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
  論文  参考訳（メタデータ） (2026-04-26T20:39:19Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• Graph-Native Cognitive Memory for AI Agents: Formal Belief Revision Semantics for Versioned Memory Architectures [0.6091702876917279]
  Kumihoは、形式的信念修正セマンティクスに基づくグラフネイティブな認知記憶アーキテクチャである。 アーキテクチャは、二重ストアモデル(Redisワーキングメモリ、Neo4j長期グラフ)を実装し、ハイブリッドフルテキストとベクトル検索を備える。
  論文  参考訳（メタデータ） (2026-03-18T00:59:49Z)
• SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models [86.19617358080016]
  Social Omniは、3つのコア次元にわたる対話性の評価を運用するベンチマークである。 Social Omniは2000の知覚サンプルと209の相互作用生成インスタンスの品質管理された診断セットを備えている。 本分析により,モデルの知覚的精度と,文脈的に適切な割り込みを生成する能力との間に顕著な疎結合が明らかとなった。
  論文  参考訳（メタデータ） (2026-03-17T17:58:44Z)
• PersonaMem-v2: Towards Personalized Intelligence via Learning Implicit User Personas and Agentic Memory [56.81126490418336]
  パーソナライゼーションは、AI能力とアライメントの進歩における次のマイルストーンの1つだ。 PersonaMem-v2は300以上のシナリオ、20,000以上のユーザの好み、128kのコンテキストウィンドウで、1,000の現実的なユーザ-チャットボットインタラクションをシミュレートする。 我々はQwen3-4BをトレーニングしてGPT-5を上回り、暗黙のパーソナライゼーションにおいて53%の精度を達成した。
  論文  参考訳（メタデータ） (2025-12-07T06:48:23Z)
• One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
  大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。 既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。 マルチターン命令追従能力を評価するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-05T14:39:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。