論文の概要: Intent-Preserving Adversarial User Simulation for Multi-Turn Agent Evaluation

• arxiv url: http://arxiv.org/abs/2610.35426v1
• Date: Mon, 26 Oct 2026 13:33:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.011293
• Title: Intent-Preserving Adversarial User Simulation for Multi-Turn Agent Evaluation
• Title（参考訳）: マルチトゥルンエージェント評価のためのインテント保存型ユーザシミュレーション
• Abstract要約: StressSimは、ストレステストエージェントのための意図保存型ユーザシミュレータフレームワークである。 StressSimは、各タスクインスタンスに対してシミュレータのハイレベルな逆計画を最適化する。 我々は、MultiWOZデータセットと小売および航空会社ドメインに対するアプローチを評価する。
• 参考スコア（独自算出の注目度）: 16.383448770804492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-turn agents are commonly evaluated with LLM-based simulated users, which can be overly cooperative and can therefore overestimate an agent's performance. We here introduce StressSim, an intent-preserving adversarial user simulator framework for stress-testing agents with challenging yet valid user interactions. StressSim optimises the simulator's high-level adversarial plan for each task instance. Candidate planner prompts are evolved with a genetic prompt-optimisation loop that uses rollout traces, granular task-completion signals, and validity feedback to favour conversations that reduce task success without changing the user's underlying goal. We evaluate the approach on the MultiWOZ dataset and the retail and airline domains from tau-bench with three target LLM agents, comparing against standard simulators and hand-designed non-collaborative user behaviours. We demonstrate the effectiveness of StressSim in exposing robustness gaps across frontier LLMs, with tau-bench pass^4 scores decreasing by up to 69% on gemini-3.8-flash and 62% on gpt-5.6-sol. StressSim maintains goal preservation performance (which decreases by at most 10%), using an optimisation budget of 20 rollouts per task. Sensitivity analysis suggests that increasing the budget further decreases task success. Overall our results demonstrate that StressSim exposes robustness gaps missed by standard and hand-designed user simulators while maintaining conversation realism. This is achieved through lightweight prompt optimisation alone, without model fine-tuning.
• Abstract（参考訳）: マルチターンエージェントは、LLMベースのシミュレーションユーザで一般的に評価され、過度に協調的であり、エージェントのパフォーマンスを過大評価することができる。 本稿では,ストレステストエージェントのための意図保存型ユーザシミュレータフレームワークであるScressSimを紹介する。 StressSimは、各タスクインスタンスに対してシミュレータのハイレベルな逆計画を最適化する。 候補プランナープロンプトは、ロールアウトトレース、きめ細かいタスク補完信号、妥当性フィードバックを使用して、ユーザの基本的な目標を変更することなく、タスクの成功を減少させる会話を推奨する遺伝的プロンプト最適化ループで進化する。 3つのLLMエージェントを対象とするtau-benchからのMultiWOZデータセットと小売・航空会社ドメインのアプローチを,標準シミュレータと非協調的ユーザ行動との比較により評価した。 また, ボーベンチパス^4はgemini-3.8-flashで69%, gpt-5.6-solで62%低下した。 StressSimは,タスク毎の20ロールアウトの最適化予算を使用して,目標維持パフォーマンス(最大10%以上低下する)を維持している。 感度分析は、予算の増加がタスクの成功をさらに減少させることを示している。 全体として,ScressSimは,会話リアリズムを維持しつつ,標準的なユーザシミュレータや手設計のユーザシミュレータが欠落するロバストさのギャップを露呈することを示した。 これは、モデル微調整なしで、軽量なプロンプト最適化だけで実現できる。

関連論文リスト

• Task-Aware Automated User Profile Generation for Recommendation Simulation Using Large Language Models [8.706093337738869]
  本稿では,推薦シミュレーションのための自動プロファイル生成フレームワーク APG4RecSimを提案する。 APG4RecSimは、最小限の監督で、現実的で、一貫性があり、堅牢なユーザープロファイルを構築する。 以上の結果から, APG4RecSimが生成するプロファイルは, 人気や位置によるバイアスに耐性があることが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T13:20:39Z)
• RealUserSim: Bridging the Reality Gap in Agent Benchmarking via Grounded User Simulation [43.758401022409465]
  RealUserSimは、実際の行動データに基づく最初のユーザーシミュレーションフレームワークである。 14,000以上の人間とLLMの会話(WildChat)から、7,275の行動プロファイルを抽出する。 71以上のドメインをまたいだ600の会話に対する信頼度ベンチマーク(PT3)は、基底シミュレーションが一致率を24.2%から45.3%に引き上げていることを示している。
  論文  参考訳（メタデータ） (2026-04-07T19:42:36Z)
• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• ARTIS: Agentic Risk-Aware Test-Time Scaling via Iterative Simulation [72.78362530982109]
  ARTIS(Agenic Risk-Aware Test-Time Scaling via Iterative Simulation)は、コミットメントから探索を分離するフレームワークである。 LLMをベースとした簡易シミュレータは, 希少かつ高インパクトな障害モードの捕捉に苦慮していることを示す。 本稿では,障害発生行動の忠実度を強調するリスク認識ツールシミュレータを提案する。
  論文  参考訳（メタデータ） (2026-02-02T06:33:22Z)
• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)
• Integrating Counterfactual Simulations with Language Models for Explaining Multi-Agent Behaviour [35.19786322586909]
  AXIS(Interrogative Simulation)を用いたエージェントeXplanationを提案する。 AXISはマルチエージェントポリシーのための人間中心のアクション説明を生成する。 自動運転車のAXISを10シナリオで5 LLMで評価した。
  論文  参考訳（メタデータ） (2025-05-23T12:19:18Z)
• AegisLLM: Scaling Agentic Systems for Self-Reflective Defense in LLM Security [74.22452069013289]
  AegisLLMは、敵の攻撃や情報漏洩に対する協調的なマルチエージェント防御である。 テスト時のエージェント推論システムのスケーリングは,モデルの有用性を損なうことなく,ロバスト性を大幅に向上させることを示す。 アンラーニングやジェイルブレイクを含む主要な脅威シナリオに対する総合的な評価は、AegisLLMの有効性を示している。
  論文  参考訳（メタデータ） (2025-04-29T17:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。