論文の概要: Synthetic Users, Real Differences: an Evaluation Framework for User Simulation in Multi-Turn Conversations

• arxiv url: http://arxiv.org/abs/2605.02624v1
• Date: Mon, 04 May 2026 14:14:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.325746
• Title: Synthetic Users, Real Differences: an Evaluation Framework for User Simulation in Multi-Turn Conversations
• Title（参考訳）: 合成ユーザ, 実差: マルチスレッド会話におけるユーザシミュレーションのための評価フレームワーク
• Authors: Yu Lu Liu, Hyokun Yun, Tanya Roosta, Ziang Xiao,
• Abstract要約: 本研究では,実践者がリアル対シミュレート対話の分布ビューを把握できる評価フレームワークであるRealsimを提案する。 次に、フレームワークを1Kタスク中心の実際のユーザ-チャットボット対話のキュレートされたデータセットでインスタンス化する。 全体として、シミュレーションされたユーザは、実際のユーザが対話に導入するコミュニケーションの摩擦を捉えるのに苦労する傾向にある。
• 参考スコア（独自算出の注目度）: 12.213851700444136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is growing interest in exploring user simulation as an alternative to gathering and scoring real user-chatbot interactions for AI chatbot evaluation. For this purpose, it is important to ensure the realism of the simulation, i.e., the extent to which simulated dialogues reflect real dialogues users have with chatbots. Most existing methods evaluating simulation realism produce coarse quality signal and remain solely at the level of individual dialogues. To support more rigorous evaluation in this area, we propose realsim, an evaluation framework that enables practitioners to take a distributional view of real vs. simulated dialogues along 8 dimensions, covering attributes related to the communicative functions of the interaction, user states, and the surface form of user messages. We then instantiate the framework with a curated dataset of 1K multi-turn task-focused real user-chatbot dialogues that cover 16 domains of chatbot applications. Overall, we find that simulated users tend to struggle at capturing communication frictions that real users introduce to interactions, which could make evaluations based on such simulations overly optimistic. We also observe variability in performance across different domains, which may indicate a need for domain-specific user simulators.
• Abstract（参考訳）: AIチャットボット評価のための実際のユーザ-チャットボットインタラクションの収集と評価の代替手段として,ユーザシミュレーションの探求への関心が高まっている。 この目的のためには、シミュレーションの現実性、すなわち、ユーザがチャットボットで持っている実際の対話をシミュレーションする程度を確実にすることが重要である。 シミュレーションリアリズムを評価するほとんどの既存の手法は粗い品質信号を生成し、個々の対話のレベルに留まっている。 この領域におけるより厳密な評価を支援するために,実践者が実対シミュレートされた対話の分布ビューを8次元に沿って取得し,対話のコミュニケーション機能,ユーザ状態,ユーザメッセージの表面形式に関する属性をカバーできる評価フレームワークであるRealsimを提案する。 次に、チャットボットアプリケーションの16のドメインをカバーする1Kのマルチターンタスク中心の実際のユーザ-チャットボット対話のデータセットを用いて、フレームワークをインスタンス化する。 全体として、シミュレーションされたユーザは、実際のユーザが対話に導入するコミュニケーション摩擦を捉えるのに苦労する傾向にあり、このようなシミュレーションに基づいた評価が過度に楽観的になることが分かる。 また、異なるドメインにまたがるパフォーマンスの変動も観察し、ドメイン固有のユーザーシミュレータの必要性を示す可能性がある。

関連論文リスト

• MUSE: Multi-Domain Chinese User Simulation via Self-Evolving Profiles and Rubric-Guided Alignment [15.586402133245313]
  MUSEは、人間らしく、制御可能で、動作に一貫性のある応答を生成するために設計された中国のユーザーシミュレーションフレームワークである。 局所的な反応リアリズムと人間のような表現を改善するために,反復プロファイルの自己進化とロールリバーサル・スーパーバイザード・ファインタニングを提案する。 実験により、MUSEは発話レベルとセッションレベルの両方の評価において、強いベースラインを一貫して上回ることが示された。
  論文  参考訳（メタデータ） (2026-04-15T13:01:00Z)
• HumanLM: Simulating Users with State Alignment Beats Response Imitation [84.89761487596844]
  本稿では,実際のユーザを正確に反映したユーザシミュレータを構築する新しいトレーニングフレームワークHumanLMを提案する。 HumanLMは、強化学習を通じて、地道的な応答に一致した自然言語の潜伏状態を生成する。 本研究では,公開データに基づく実ユーザシミュレーションのための総合的なベンチマークであるHumanualを開発する。
  論文  参考訳（メタデータ） (2026-02-07T20:26:28Z)
• PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies [88.78188489161028]
  シミュレーションにおける政策評価と環境復元(PolaRiS)の導入 PolaRiSは、高忠実度シミュレーションロボット評価のためのスケーラブルなリアルタイム・シミュレート・フレームワークである。 PolaRiSの評価は,既存のシミュレーションベンチマークよりも,現実のジェネラリストのポリシー性能に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2025-12-18T18:49:41Z)
• Reliable LLM-based User Simulator for Task-Oriented Dialogue Systems [2.788542465279969]
  本稿では,ドメイン対応ユーザシミュレータDAUSを紹介する。 タスク指向対話の実例について,DAUSを微調整する。 2つの関連するベンチマークの結果は、ユーザ目標達成の点で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-20T20:57:47Z)
• Is MultiWOZ a Solved Task? An Interactive TOD Evaluation Framework with User Simulator [37.590563896382456]
  タスク指向対話(TOD)システムのための対話型評価フレームワークを提案する。 まず,事前学習したモデルに基づいて目標指向のユーザシミュレータを構築し,ユーザシミュレータを用いて対話システムと対話して対話を生成する。 実験の結果,提案したユーザシミュレータによりトレーニングされたRLベースのTODシステムは,約98%のインフォメーションと成功率を達成することができた。
  論文  参考訳（メタデータ） (2022-10-26T07:41:32Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。