論文の概要: Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents

• arxiv url: http://arxiv.org/abs/2605.12894v1
• Date: Wed, 13 May 2026 02:16:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.757795
• Title: Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents
• Title（参考訳）: 協調シミュレータを超えて: LLMエージェントのロバスト評価のための現実的ユーザペルソナの生成
• Authors: Harshita Chopra, Kshitish Ghate, Aylin Caliskan, Tadayoshi Kohno, Chirag Shah, Natasha Jaques,
• Abstract要約: Persona Policies (PPol) は、ユーザシミュレータの現実的な振る舞い変化を誘導するコントロール層である。 PPolはドメイン内のあらゆるタスクに対して、多種多様な人間のようなペルソナを生産する。 PPolで訓練されたエージェントは、挑戦的で非分配的な振る舞いに対してより堅牢であり、既存のシミュレートされたインタラクションのみに関するトレーニングに比べて、タスクの成功率が+17%向上する。
• 参考スコア（独自算出の注目度）: 28.85410475505536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) agents are increasingly deployed in settings where they interact with a wide variety of people, including users who are unclear, impatient, or reluctant to share information. However, collecting real interaction data at scale remains expensive. The field has turned to LLM-based user simulators as stand-ins, but these simulators inherit the behavior of their underlying models: cooperative and homogeneous. As a result, agents that appear strong in simulation often fail under the unseen, diverse communication patterns of real users. To narrow this gap, we introduce Persona Policies (PPol), a plug-and-play control layer that induces realistic behavioral variation in user simulators while preserving the original task goals. Rather than hand-crafting personas, we cast persona generation as an LLM-driven evolutionary program search that optimizes a Python generator to discover behaviors and translate them into task-preserving roleplay policies. Candidate generators are guided by a multi-objective fitness score combining human-likeness with broad coverage of human behavioral patterns. Once optimized, the generator produces a diverse population of human-like personas for any task in the domain. Across tau^2-bench retail and airline domains, evolved PPol programs yield 33-62% absolute gains in fitness score over the baseline simulator. In a blinded evaluation, annotators rated PPol-conditioned users as human 80.4% of the time, close to real human traces and nearly twice as frequently as baseline simulators. Agents trained with PPol are more robust to challenging, out-of-distribution behaviors, improving task success by +17% relative to training only on existing simulated interactions. This offers a novel approach to strengthen simulator-based evaluation and training without changing tasks or rewards.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、不明瞭、不審、あるいは情報の共有に消極的であるユーザを含む、さまざまな人々と対話する環境において、ますます多くデプロイされている。 しかし、実際のインタラクションデータを大規模に収集するコストは高い。 フィールドはLCMベースのユーザーシミュレーターをスタンドインとして利用したが、これらのシミュレーターは彼らの基盤となるモデルである協調モデルと同質モデルの振る舞いを継承した。 結果として、シミュレーションで強く見えるエージェントは、実際のユーザの目に見えない多様なコミュニケーションパターンの下で失敗することが多い。 このギャップを狭めるために,Persona Policies (PPol) を導入する。Persona Policies (PPol) は,本来のタスクゴールを保ちながら,ユーザシミュレータの現実的な動作変化を誘導するプラグイン・アンド・プレイ制御層である。 ペルソナを手作りする代わりに,Pythonジェネレータを最適化してタスク保存型ロールプレイポリシーに変換する,LLM駆動の進化的プログラム検索としてペルソナ生成を行った。 候補生成装置は,人間の行動パターンを広範囲に網羅した多目的フィットネススコアによって誘導される。 一度最適化されると、ジェネレータはドメイン内のあらゆるタスクに対して、多様な人間のようなペルソナを生成する。 Tau^2-benchの小売および航空会社のドメイン全体で、PPolプログラムはベースラインシミュレータよりも33-62%の絶対的な利得を得た。 注視評価では、PPol条件のユーザを80.4%の時間、実際の人間のトレースに近く、ベースラインシミュレータの約2倍の頻度で評価した。 PPolで訓練されたエージェントは、挑戦的で非分配的な振る舞いに対してより堅牢であり、既存のシミュレートされたインタラクションのみに関するトレーニングに比べて、タスクの成功率が+17%向上する。 これは、タスクや報酬を変更することなく、シミュレータベースの評価とトレーニングを強化する新しいアプローチを提供する。

関連論文リスト

• Quantifying the Utility of User Simulators for Building Collaborative LLM Assistants [7.523995265564992]
  下流ユーティリティの観点からシミュレータの品質を定量化する方法を示す。 我々は、シミュレータのスペクトルに対して強化学習によってLLMアシスタントを訓練する。 評価として,283名を対象にしたユーザスタディにおいて,ペアワイズ勝利率を測定した。
  論文  参考訳（メタデータ） (2026-05-10T23:06:24Z)
• Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors [61.610957638373826]
  本研究では,実際のユーザ行動とシミュレーションユーザ行動の分布ギャップを計測する手法を提案する。 実会話とシミュレーション会話のデータセットが与えられた場合,本手法は各会話からユーザ行動の表現を抽出する。 ほとんどのシミュレータも同様に振る舞うが、いくつかは独立している。
  論文  参考訳（メタデータ） (2026-05-08T15:09:25Z)
• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• HumanLM: Simulating Users with State Alignment Beats Response Imitation [84.89761487596844]
  本稿では,実際のユーザを正確に反映したユーザシミュレータを構築する新しいトレーニングフレームワークHumanLMを提案する。 HumanLMは、強化学習を通じて、地道的な応答に一致した自然言語の潜伏状態を生成する。 本研究では,公開データに基づく実ユーザシミュレーションのための総合的なベンチマークであるHumanualを開発する。
  論文  参考訳（メタデータ） (2026-02-07T20:26:28Z)
• SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
  大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。 人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。 我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
  論文  参考訳（メタデータ） (2025-10-06T23:17:44Z)
• Implicit Behavioral Alignment of Language Agents in High-Stakes Crowd Simulations [3.0112218223206173]
  言語駆動型生成エージェントは、対人訓練からグローバルな政策作成を支援するまで、変革的な利用で社会シミュレーションを可能にした。 近年の研究では、生成的エージェントの行動が、専門家の期待や実世界のデータから逸脱することが多いことが示唆されている。 本稿では,レウィンの行動方程式に基づく分布整合問題として定式化されたPEBA(Persona-Environment Behavioral Alignment)という理論的枠組みを紹介する。 本稿では, エージェントペルソナを反復的に洗練する, LLMに基づく最適化アルゴリズムであるPersonaEvolve(PEvo)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T22:35:13Z)
• User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
  LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。 実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T02:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。