論文の概要: A Three-Tier Persona Vector for Controllable User Simulation in Agentic Evaluation

• arxiv url: http://arxiv.org/abs/2609.08592v1
• Date: Tue, 08 Sep 2026 11:28:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.635989
• Title: A Three-Tier Persona Vector for Controllable User Simulation in Agentic Evaluation
• Title（参考訳）: エージェント評価における制御可能なユーザシミュレーションのための3層ペルソナベクトル
• Abstract要約: 23の操作次元を持つ3層ペルソナベクトルを提案する。 我々は64,698件の会話で合成データ生成パイプライン内のペルソナモデルを評価する。
• 参考スコア（独自算出の注目度）: 0.9918136378822991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evaluating tool-augmented LLM agents requires diverse, realistic user inputs yet most evaluation frameworks use flat role descriptions ("you are an angry customer") that produce near-identical conversations regardless of the underlying scenario. In this paper, we propose a three-tier persona vector with 23 operationalized dimensions: 6 categorical demographics (jurisdiction, age, channel, device, language proficiency, time availability), 12 continuous behavioral traits (patience, assertiveness, digital literacy, etc.) sampled with Gaussian noise around curated profile base vectors, and 5 continuous emotional states (frustration, anxiety, trust, confidence, stress) that shift in response to scenario context. Orthogonal to the persona, a 4-level query-complexity overlay controls utterance phrasing from direct to deliberately vague. We evaluate the persona model inside a synthetic data generation pipeline across 64,698 multi-turn conversations spanning 8 named profiles and 3 production corpora. Key findings: (i) a 15.8 percentage-point spread in agent goal-achievement across personas confirms trait vectors produce measurably different user behavior; (ii) the same persona behaves differently across scenarios due to scenario-reactive emotional state shifts, validating the scenario-reactive design; (iii) domain-specific projects show persona sensitivity on booking-flow compliance (~15-20 percentage points gap between tier-aware and pressure-test personas), demonstrating the model faithfully reproduces real-world difficulty distributions; (iv) seven rule-described trait correlations produce auditable co-occurrence patterns without requiring learned covariance matrices. The persona model is fully specified for reproduction.
• Abstract（参考訳）: ツール強化されたLLMエージェントを評価するには、多様な現実的なユーザ入力が必要ですが、ほとんどの評価フレームワークは、基盤となるシナリオに関係なく、ほぼ同一の会話を生成するフラットなロール記述("あなたは怒っている顧客")を使用します。 本稿では,23の操作次元を持つ3階層のペルソナベクトルを提案する。6つのカテゴリーの人口動態(鑑定,年齢,チャネル,装置,言語習熟度,時間可用性),12の連続的行動特性(弁証,主張性,デジタルリテラシーなど),および5つの連続的情動状態(フラストレーション,不安,信頼,ストレス)は,文脈に応じて変化する。 ペルソナと直交する4レベルのクエリ-複雑オーバレイは、直接から故意にあいまいな発話を制御します。 8つのプロファイルと3つの生産コーパスにまたがる64,698個のマルチターン会話にまたがる合成データ生成パイプライン内のペルソナモデルを評価する。 主な発見 (i)人格にまたがるエージェント目標達成における15.8パーセントのパーセンテージは、特性ベクトルが異なるユーザ行動を引き起こすことを確認します。 (二)同一の人物は、シナリオ反応性の感情状態の変化によりシナリオによって異なる振る舞いをし、シナリオ反応性の設計を検証する。 三 ドメイン固有の事業は、予約フローの遵守に対するペルソナの感受性を示す(層認識と圧力テストのペルソナの比率が約15～20ポイント)、現実の難易度分布を忠実に再現することを示す。 (4)7つの規則記述特性相関は,学習された共分散行列を必要とせず,聴取可能な共起パターンを生成する。 ペルソナモデルは再生のために完全に指定されている。

関連論文リスト

• BLOOM-WILT: Logit Tilting for Behaviour Elicitation in Automated LLM Auditing [0.898478290216692]
  BLOOM-WILTは、トレーニングコストやターゲットの次のトーケン分布を越えてアクセスすることなく、レアな振る舞いの自然なマルチターンインスタンスを提供する。 WILTを4つのターゲットモデルと8つの動作で評価し、32設定のうち30設定でベースライン監査を破る。
  論文  参考訳（メタデータ） (2026-08-31T17:10:59Z)
• PersonaForge: Realistic Multi-Turn User Simulation for Agentic Systems [53.65117408512214]
  我々は,現実的なマルチターンユーザ-エージェントインタラクションを合成するユーザシミュレーションフレームワークであるtextbfPersonaForgeを紹介した。 PersonaForgeを使って、6.3Kレコードのトレーニングデータセットと、手動で注釈付き138タスクベンチマークである textbfPersonaForge-Benchを構築します。 実験の結果、PersonaForgeのトレーニングでは、合成スコアが+4.1%向上し、4次元すべてで利得が得られた。
  論文  参考訳（メタデータ） (2026-08-28T14:33:19Z)
• Do AI Personas Grow? Analyzing and Benchmarking Personality Evolution in LLM Agents After Life Events [34.88005801095875]
  パーソナリティ条件付きLLMエージェント(PC-Agents)は、感情的支援、社会シミュレーション、ロールプレイングにますます利用されている。 ビッグファイブの特徴をサイコメトリックアンカーとして用いて,11大生活イベント後の事象誘発人格変化について検討した。 以上の結果から,現在のPC-Agentsは人格動態の平均をシミュレートするが,その形状は似ていないことが示唆された。
  論文  参考訳（メタデータ） (2026-08-06T18:25:58Z)
• The Librarian Who Refused to Code: Model-Dependent Identity Enactment in LLM Code Generation [0.0]
  4つの条件(ペルソナなし、2人のエンジニアペルソナ、研究図書館ペルソナ)、12のコード生成タスク、2つのフロンティアモデル、5つのセル実行)をテストした。 事前登録された混合効果分析では, プロバイダが報告した出力トークンに対して, 条件・バイ・モデル相互作用が重要であった。 Claude Opusでは、最小限のエンジニアのペルソナが正確性を改善することなく可視出力を30%削減し、一方、徹底的なエンジニアのペルソナは正確性のないアウトプットを増加させた。
  論文  参考訳（メタデータ） (2026-07-19T21:47:58Z)
• Perception or Prejudice: Can MLLMs Go Beyond First Impressions of Personality? [74.69723255239663]
  グラウンドド・パーソナリティ・推論は、MLLMがそれぞれのビッグファイブ・格付けを、評価、推論、根拠の連鎖を通じて観察可能な証拠に固定することを要求する。 MM-OCEANは、人間の検証によるマルチエージェントパイプラインによって生成され、タイムスタンプによる行動観察、エビデンスに基づく特性分析、およびキューグラウンドMCQの7つのカテゴリがある。 この分析では、フィールド全体にわたって、正しい評価の51%が取得された手がかりに基づかず、ホリスティック・ギャラリング・レートは0-33.5%にしか達していないという顕著な偏見のギャップが明らかになった。
  論文  参考訳（メタデータ） (2026-05-21T07:42:47Z)
• Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors [61.610957638373826]
  本研究では,実際のユーザ行動とシミュレーションユーザ行動の分布ギャップを計測する手法を提案する。 実会話とシミュレーション会話のデータセットが与えられた場合,本手法は各会話からユーザ行動の表現を抽出する。 ほとんどのシミュレータも同様に振る舞うが、いくつかは独立している。
  論文  参考訳（メタデータ） (2026-05-08T15:09:25Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• PersonaDrift: A Benchmark for Temporal Anomaly Detection in Language-Based Dementia Monitoring [0.9668407688201359]
  PersonaDriftは、日々のコミュニケーションの進行的な変化を検出するための機械学習と統計的手法を評価するために設計されたベンチマークである。 このベンチマークは、介護者が特に有能であると強調した2種類の縦方向の変化に焦点を当てている。 予備的な結果は, ベースライン変動率の低いユーザにおいて, 単純な統計モデルを用いて, 平坦感が検出できることを示唆している。
  論文  参考訳（メタデータ） (2025-11-20T15:15:00Z)
• Impatient Users Confuse AI Agents: High-fidelity Simulations of Human Traits for Testing Agents [58.00130492861884]
  TraitBasisは、AIエージェントを体系的にストレステストするための軽量でモデルに依存しない方法である。 TraitBasisは、ステアブルなユーザ特性に対応するアクティベーション空間で方向を学習する。 We observed on average a 2%-30% performance degradation on $tau$-Trait across frontier model。
  論文  参考訳（メタデータ） (2025-10-06T05:03:57Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。