論文の概要: AgentPersonaBench: Benchmarking Persona-Driven User Simulation
- arxiv url: http://arxiv.org/abs/2610.04379v1
- Date: Sat, 03 Oct 2026 08:45:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 11:01:22.181487
- Title: AgentPersonaBench: Benchmarking Persona-Driven User Simulation
- Title（参考訳）: AgentPersonaBench: ペルソナ駆動ユーザシミュレーションのベンチマーク
- Abstract要約: AgentPersonaBench (APB) は、ペルソナ条件が下流エージェントの動作を忠実に制御するかどうかを評価するベンチマークである。
APBは867の特徴にまたがる2,460のタスクで構成されており、自動監査と専門家レビューを通じて検証されている。
- 参考スコア（独自算出の注目度）: 41.69582135536117
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce AgentPersonaBench (APB), a benchmark evaluating whether persona conditioning faithfully steers downstream agent behavior. While language models are increasingly deployed for persona-driven user simulation, existing benchmarks primarily evaluate conversational styling or self-reports rather than authentic behavioral fidelity. APB evaluates latent persona adherence one trait at a time, embedding each target trait within a complete synthetic profile without explicitly naming the trait or disclosing the test. Ground-truth adherence is verified strictly from observable actions across four interaction surfaces of increasing realism: survey, chat, web (interactive web environments), and app (desktop software environments). APB comprises 2,460 tasks spanning 867 traits, verified through automated audits and expert review. Our evaluation of 20 frontier model arms demonstrates that high-fidelity user simulation is already attainable: leading models achieve up to 84.7% full-pass adherence under unprompted conditions. At the same time, APB identifies clear behavioral boundaries: adherence drops across interaction modalities (only 37.9-64.3% pass all four surfaces), multi-attribute demands degrade retention, and competing model families exhibit pronounced behavioral divergence.
- Abstract（参考訳）: 本稿では,AgentPersonaBench (APB) を用いて,下流エージェントの動作を忠実に制御するペルソナ条件付けの有効性を評価する。
言語モデルは、ペルソナ駆動のユーザシミュレーションのためにますます多くデプロイされているが、既存のベンチマークは主に、実際の行動の忠実さではなく、会話のスタイリングや自己報告を評価している。
APBは遅延ペルソナの1つの特性を一度に評価し、それぞれの特性を完全な合成プロファイルに埋め込む。
4つの相互作用面(サーベイ、チャット、ウェブ(インタラクティブなWeb環境)、アプリ(デスクトップソフトウェア環境))にまたがる観測可能な行動から、地道順守は厳密に検証されている。
APBは867の特徴にまたがる2,460のタスクで構成されており、自動監査と専門家レビューを通じて検証されている。
20のフロンティアモデルアームの評価は、高忠実度ユーザシミュレーションがすでに達成可能であることを示す。
それと同時に、ABBは明確な行動境界を識別する: 相互作用のモダリティを越えて粘着度が低下する(4つの面を全て通過するのは37.9-64.3%)、マルチ属性要求は保持を低下させ、競合するモデルファミリーは明らかに振る舞いのばらつきを示す。
関連論文リスト
- TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - A Three-Tier Persona Vector for Controllable User Simulation in Agentic Evaluation [0.9918136378822991]
23の操作次元を持つ3層ペルソナベクトルを提案する。
我々は64,698件の会話で合成データ生成パイプライン内のペルソナモデルを評価する。
論文 参考訳（メタデータ） (2026-09-08T11:28:02Z) - BLOOM-WILT: Logit Tilting for Behaviour Elicitation in Automated LLM Auditing [0.898478290216692]
BLOOM-WILTは、トレーニングコストやターゲットの次のトーケン分布を越えてアクセスすることなく、レアな振る舞いの自然なマルチターンインスタンスを提供する。
WILTを4つのターゲットモデルと8つの動作で評価し、32設定のうち30設定でベースライン監査を破る。
論文 参考訳（メタデータ） (2026-08-31T17:10:59Z) - PersonaForge: Realistic Multi-Turn User Simulation for Agentic Systems [53.65117408512214]
我々は,現実的なマルチターンユーザ-エージェントインタラクションを合成するユーザシミュレーションフレームワークであるtextbfPersonaForgeを紹介した。
PersonaForgeを使って、6.3Kレコードのトレーニングデータセットと、手動で注釈付き138タスクベンチマークである textbfPersonaForge-Benchを構築します。
実験の結果、PersonaForgeのトレーニングでは、合成スコアが+4.1%向上し、4次元すべてで利得が得られた。
論文 参考訳（メタデータ） (2026-08-28T14:33:19Z) - BehaviorBench: Modeling Real-World User Decisions from Behavioral Traces [53.55407626944686]
textscBehaviorBenchは、実世界の行動トレースからパーソナライズされた意思決定モデリングを評価するためのベンチマークである。
textscBehaviorBenchは、公開市場とオンチェーンの記録からウォレットレベルの意思決定履歴を再構築する。
2,000以上の評価ウォレットで、ベンチマークには141,445のBeliefインスタンスと1,485,972のTradeインスタンスが含まれている。
論文 参考訳（メタデータ） (2026-06-01T19:04:36Z) - In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores [20.623498601506974]
標準化されたテストパラダイムは構造的に信頼性が低いことを示す。
制御された変動因子を多ラウンド対話に組み込む多エージェント対話フレームワークMAC-Fairnessを開発した。
In-situの行動評価は、フェアネスの目標と評価方法が異なるベンチマークで一般化できる安定したモデル固有の行動シグネチャを明らかにする。
論文 参考訳（メタデータ） (2026-04-21T18:38:50Z) - KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation [72.01173512175531]
KnowU-Benchはパーソナライズされたモバイルエージェントのためのオンラインベンチマークである。
42のGUIタスク、86のパーソナライズされたタスク、64のプロアクティブタスクをカバーしている。
明示的なタスク実行に優れるエージェントは、あいまいな指示の下で50%以下に低下する。
論文 参考訳（メタデータ） (2026-04-09T16:50:50Z) - RealUserSim: Bridging the Reality Gap in Agent Benchmarking via Grounded User Simulation [43.758401022409465]
RealUserSimは、実際の行動データに基づく最初のユーザーシミュレーションフレームワークである。
14,000以上の人間とLLMの会話(WildChat)から、7,275の行動プロファイルを抽出する。
71以上のドメインをまたいだ600の会話に対する信頼度ベンチマーク(PT3)は、基底シミュレーションが一致率を24.2%から45.3%に引き上げていることを示している。
論文 参考訳（メタデータ） (2026-04-07T19:42:36Z) - HUMANLLM: Benchmarking and Reinforcing LLM Anthropomorphism via Human Cognitive Patterns [59.17423586203706]
本稿では,心理的パターンを因果力の相互作用として扱うフレームワークであるHUMANLLMを提案する。
12,000の学術論文から244のパターンを構築し、2-5のパターンが相互に強化、衝突、変調されるシナリオ11,359を合成する。
我々の二重レベルチェックリストは、個々のパターンの忠実度と創発的なマルチパターンのダイナミクスを評価し、強い人間のアライメントを達成する。
論文 参考訳（メタデータ） (2026-01-15T08:56:53Z) - DrawingBench: Evaluating Spatial Reasoning and UI Interaction Capabilities of Large Language Models through Mouse-Based Drawing Tasks [10.977990951788422]
DrawingBenchはエージェントLLMの信頼性を評価するための検証フレームワークである。
我々のフレームワークは、20のカテゴリに250の多様なプロンプトと4つの難易度から構成されている。
我々は1000回の試験で4つの最先端LCMを評価した。
論文 参考訳（メタデータ） (2025-12-01T01:18:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。