論文の概要: HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory

• arxiv url: http://arxiv.org/abs/2610.24520v2
• Date: Tue, 20 Oct 2026 03:24:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.255847
• Title: HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory
• Title（参考訳）: HABIT-Bench: エージェント記憶における縦方向の弱みからのハビット誘導の評価
• Abstract要約: HABIT-Benchを導入し、弱い証拠からメモリシステムがどのように習慣を推測するかを評価する。 タスク指向対話データと習性グラフから合成ユーザ履歴を構築する。 4つの選択タスクは、エージェントがユーザの習慣を推測し、それらを適切に適用する能力を評価する。
• 参考スコア（独自算出の注目度）: 24.921363550938562
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In long-term interactions with large language model (LLM) agents, users reveal habits through their choices and actions. These habits capture implicit user information that agents must infer across conversations. However, individual observations may provide only partial evidence about a habit or when it applies. Retaining past interactions alone does not ensure that agents can infer habits and apply them appropriately. We introduce HABIT-Bench to evaluate how well agent memory systems infer habits from weak evidence and apply them to later requests. We construct synthetic user histories from task-oriented dialogue data and controlled habit graphs. The histories span hundreds of sessions across food, finance, software, and travel. Four-choice tasks assess agents' ability to infer user habits and apply them appropriately. They include temporary exceptions, changes in habits, and suggestions that users have not accepted. Sampled tasks undergo independent human review. We evaluate eight memory methods with Qwen3-235B-A22B and GLM-5.3-Flash. The best-performing memory method achieves 33.61\% macro accuracy across the four domains. Performance remains limited even when annotated evidence is supplied directly. These results expose a persistent gap between access to past interactions and the ability to infer and appropriately use user habits.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントとの長期的な相互作用では、ユーザーは選択や行動を通じて習慣を明らかにする。 これらの習慣は、エージェントが会話を通して推論しなければならない暗黙のユーザー情報をキャプチャする。 しかし、個々の観察は習慣やそれが適用される時期に関する部分的な証拠を与えるだけである。 過去の相互作用のみを保持することは、エージェントが習慣を推測し、それらを適切に適用することを保証しない。 HABIT-Benchを導入し、メモリシステムが弱い証拠からいかに習慣を推測し、後続の要求に当てはめるかを評価する。 タスク指向対話データと習性グラフから合成ユーザ履歴を構築する。 歴史は、食品、金融、ソフトウェア、旅行にまたがる何百ものセッションにまたがっている。 4つの選択タスクは、エージェントがユーザの習慣を推測し、それらを適切に適用する能力を評価する。 それらは一時的な例外、習慣の変化、ユーザーが受け入れていないという提案を含む。 サンプル化されたタスクは、独立して人間のレビューを受けます。 Qwen3-235B-A22BとGLM-5.3-Flashによる8つのメモリ手法の評価を行った。 最も優れたメモリ方式は、4つの領域で33.61倍のマクロ精度を実現する。 注釈付き証拠が直接供給された場合でも、パフォーマンスは制限されている。 これらの結果は、過去のインタラクションへのアクセスと、ユーザの習慣を推論し、適切に利用する能力の間に、永続的なギャップを露呈する。

関連論文リスト

• Know It, Act on It: Investigating Memory Utilization in LLM Personalization [12.448786190019254]
  大規模言語モデル(LLM)が,コンテキストに完全に存在する場合でも,関連するユーザの嗜好に反応しないことを示す。 我々は、同じユーザの好みに合わせて、ペア化されたノウテストとアクトテストを管理する分離された評価パラダイムを導入する。 我々は16のシステムと5つのメモリアーキテクチャにわたる大規模な実験を行い、1000の好みを3レベルの表現強度で評価した。
  論文  参考訳（メタデータ） (2026-07-31T13:57:21Z)
• Setoka: A Benchmark for Hierarchical User Understanding in Personalized Agents over Heterogeneous Data [8.564332409420473]
  メモリ拡張されたパーソナライズされたエージェントを評価するためのベンチマークであるセトカを提案する。 セトカは、意味記憶、エピソード記憶、行動パターン、性格特性の4つのレベルのユーザー理解を定義している。 その結果,既存のシステムではセマンティックメモリの検索に優れていたが,セマンティックメモリでは性能が低下していることがわかった。
  論文  参考訳（メタデータ） (2026-07-29T15:47:40Z)
• VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
  我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。 結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
  論文  参考訳（メタデータ） (2026-05-26T15:07:38Z)
• Belief Memory: Agent Memory Under Partial Observability [56.41506249481312]
  本稿では,メモリパラダイムを観測毎に1つの結論にシフトし,その確率で複数の結論を導出するBeliefMemを提案する。 BeliefMemは決定論的パラダイムが破棄されるという不確実性を保ち、エージェントが高い信頼を持って行動することを可能にする。 LoCoMoとALFWorldベンチマークの実証的な評価は、限られたデータであっても、BeliefMemが最高の平均パフォーマンスを達成することを示している。
  論文  参考訳（メタデータ） (2026-05-07T02:03:13Z)
• KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
  KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。 42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。 明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
  論文  参考訳（メタデータ） (2026-04-09T16:50:50Z)
• PERMA: Benchmarking Personalized Memory Agents via Event-Driven Preference and Realistic Task Environments [72.02445514666428]
  静的な嗜好リコールを超えてペルマの一貫性を評価するためのベンチマークであるPERMAを紹介する。 PerMAは、複数のセッションとドメインにまたがる時間的に順序付けられたインタラクションイベントと、時間とともに好みに関連するクエリで構成されている。 実験により、関連するインタラクションをリンクすることで、高度なメモリシステムはより正確な好みを抽出し、トークン消費を減らすことができることが示された。
  論文  参考訳（メタデータ） (2026-03-24T14:04:11Z)
• MemoryArena: Benchmarking Agent Memory in Interdependent Multi-Session Agentic Tasks [55.145729491377374]
  メモリを持つエージェントの既存の評価は、通常、単独で記憶と行動を評価する。 マルチセッションメモリ-エージェント環境ループにおけるエージェントメモリのベンチマークのための統合評価ジムであるMemoryArenaを紹介する。 MemoryArenaは、Webナビゲーション、優先制約付き計画、プログレッシブ情報検索、シーケンシャルなフォーマルな推論を含む評価をサポートする。
  論文  参考訳（メタデータ） (2026-02-18T09:49:14Z)
• Learning Personalized Agents from Human Feedback [36.47803872623135]
  連続的なパーソナライズのための枠組みであるPAHF(Personalized Agents from Human Feedback)を紹介する。 PAHFは、ユーザ毎の明示的なメモリを使用して、ライブインタラクションからオンラインで学習する。 ベンチマークは、エージェントが最初の好みをスクラッチから学習し、その後ペルソナシフトに適応する能力を定量化する。
  論文  参考訳（メタデータ） (2026-02-18T04:18:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。