論文の概要: P-ContextBench: From Personal Fact Recall to Personalized Agent Behavior
- arxiv url: http://arxiv.org/abs/2610.40959v1
- Date: Thu, 29 Oct 2026 20:38:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.491456
- Title: P-ContextBench: From Personal Fact Recall to Personalized Agent Behavior
- Title（参考訳）: P-ContextBench: 個人的ファクトリコールからパーソナライズされたエージェント行動へ
- Abstract要約: P-ContextBenchは、個人コンテキスト理解を評価するための、現実的で検証可能なスケーラブルなベンチマークである。
100のペルソナ、10,088の隠された事実、18,261のアプリトレースフラグメント、4,810のテストケースでP-ContextBenchをインスタンス化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly used for personal tasks, yet evaluating their safe use of personal context remains difficult because such contexts are private, fragmented, dynamic, and socially situated. We introduce P-ContextBench, a realistic, verifiable, and scalable benchmark for evaluating personal-context understanding. P-ContextBench constructs population-structured, life-story-grounded digital humans from demographic seeds reflecting the U.S. population. Rather than using explicit, static profiles, P-ContextBench embeds traits, routines, goals, and constraints as implicit evidence across fragmented, evolving synthetic mobile-app records. It evaluates five capabilities: single-source fact recovery, multi-source fact recovery, temporal state tracking, inference of higher-level personal patterns from routine behavior, and safe handling of requests conflicting with persona-specific constraints through compliance, warning, clarification, or refusal. A multi-stage validation pipeline checks persona plausibility, context recoverability, information leakage, evidence preservation, test-case grounding, and human-judge agreement. We instantiate P-ContextBench with 100 personas, 10,088 hidden facts, 18,261 app-trace fragments, and 4,810 verified test cases. The pipeline supports configurable generation across scales and demographic groups. Cost-effective state-of-the-art (SOTA) LLMs relevant to personal agents achieve below 60% accuracy on temporal tracking, higher-level pattern inference, and constraint-aware action-boundary decisions, with fewer than 10% of test cases answered correctly across all three repeated runs. Even a high-performing SOTA model remains inconsistent on these capabilities. P-ContextBench provides measurable targets for improving the accuracy, reliability, and safety of LLM-based personal agents.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、個人のタスクにますます使われるが、そのようなコンテキストはプライベートで、断片化され、動的で、社会的に位置しているため、個人的なコンテキストの安全な使用を評価することは困難である。
P-ContextBenchは、個人コンテキスト理解を評価するための、現実的で検証可能なスケーラブルなベンチマークである。
P-ContextBenchは、アメリカの人口を反映した人口動態の種から、人口構成された生活様式のデジタル人間を構築する。
明示的で静的なプロファイルを使用する代わりに、P-ContextBenchは、特徴、ルーチン、目標、制約を、断片化された、進化したモバイルアプリレコード間の暗黙の証拠として埋め込む。
単一ソースのファクトリカバリ、マルチソースのファクトリカバリ、時間的状態トラッキング、ルーチン行動からの高レベルの個人パターンの推測、コンプライアンス、警告、明確化、拒否を通じてペルソナ固有の制約と矛盾するリクエストの安全なハンドリングである。
多段階検証パイプラインは、ペルソナの妥当性、コンテキスト回復性、情報漏洩、エビデンス保存、テストケースの接地、人事合意をチェックする。
100のペルソナ、10,088の隠された事実、18,261のアプリトレースフラグメント、4,810のテストケースでP-ContextBenchをインスタンス化する。
このパイプラインは、スケールと人口統計グループ間で構成可能な生成をサポートする。
個人エージェントに関連する費用対効果の高いSOTA (Cost- Effective State-the-art) LLMは、時間的追跡、高レベルパターン推論、制約対応行動境界決定において60%以下の精度を達成する。
高性能なSOTAモデルでさえ、これらの機能には相容れない。
P-ContextBenchは、LLMベースのパーソナルエージェントの正確性、信頼性、安全性を向上させるための測定可能なターゲットを提供する。
関連論文リスト
- AgentPersonaBench: Benchmarking Persona-Driven User Simulation [41.69582135536117]
AgentPersonaBench (APB) は、ペルソナ条件が下流エージェントの動作を忠実に制御するかどうかを評価するベンチマークである。
APBは867の特徴にまたがる2,460のタスクで構成されており、自動監査と専門家レビューを通じて検証されている。
論文 参考訳（メタデータ） (2026-10-03T08:45:45Z) - The Situated Identity Test: Distinguishing Persistent Cognitive Identity from Persona Imitation [2.124730017640531]
2人の個人は、同じ年齢、故郷、職業、性格特性、全く異なる個人的歴史、関係、獲得したスキルを持っているにもかかわらず、同一の公的なプロフィールを共有することができる。
SIT(Situated Identity Test)は、エージェントの動作が特定の発達系に機能的に寄与するかどうかを評価する、アーキテクチャに依存しないフレームワークである。
圧縮されたプロファイルのみに条件を定めているポリシーは、平均1/mの精度で境界づけられていることを証明する。
論文 参考訳（メタデータ） (2026-08-30T08:29:01Z) - From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces [53.55407626944686]
textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。
textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。
2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
論文 参考訳（メタデータ） (2026-06-01T19:04:36Z) - From Automation to Collaboration: Human-in-the-Loop Methods for Safe and Trustworthy NLP [0.28675177318965045]
大規模言語モデルは、ハイテイクなNLPタスクに広くデプロイされているが、バイアス、幻覚、敵対的脆弱性、信頼できない一般化といったリスクが残っている。
本研究では,NLPを自動化から安全性とロバスト性のためのコラボレーションへ移行する最近のヒューマン・イン・ザ・ループ手法について検討する。
論文 参考訳（メタデータ） (2026-05-24T19:27:20Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - Leveraging LLM Parametric Knowledge for Fact Checking without Retrieval [60.25608870901428]
信頼性は、大規模言語モデル(LLM)上に構築されたエージェントAIシステムの中核研究課題である
本研究では,任意の自然言語クレームの検証に焦点をあて,検索なしで事実チェックを行うタスクを提案する。
論文 参考訳（メタデータ） (2026-03-05T18:42:51Z) - Long Context, Less Focus: A Scaling Gap in LLMs Revealed through Privacy and Personalization [4.802305157491253]
大きな言語モデル(LLM)は、プライバシクリティカルでパーソナライズ指向のシナリオにますますデプロイされている。
大規模ベンチマークPAPerBenchを導入し、コンテキスト長の増加がパーソナライズ品質とプライバシ保護の両方にどのように影響するかを体系的に研究する。
ベンチマークは、コンテキスト長が1Kから256Kまでの約29,000のインスタンスで構成され、合計で377K評価の質問が得られる。
論文 参考訳（メタデータ） (2026-02-16T18:59:42Z) - Persistent Instability in LLM's Personality Measurements: Effects of Scale, Reasoning, and Conversation History [7.58175460763641]
400B+モデルでさえ、相当な応答変動を示す。
連鎖推論、詳細なペルソナ指導、会話履歴の含意など、行動の安定化を期待する介入は、パラドックス的に変動を増大させる。
予測可能な行動を必要とする安全クリティカルなアプリケーションに対しては,人格に基づくアライメント戦略が根本的に不十分である可能性が示唆された。
論文 参考訳（メタデータ） (2025-08-06T19:11:33Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳（メタデータ） (2021-10-19T16:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。