論文の概要: AutoSim: A Self-Improving User Simulator for Conversational Search Evaluation

• arxiv url: http://arxiv.org/abs/2610.28054v1
• Date: Tue, 20 Oct 2026 11:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.78376
• Title: AutoSim: A Self-Improving User Simulator for Conversational Search Evaluation
• Title（参考訳）: AutoSim: 対話型検索評価のための自己改善型ユーザシミュレータ
• Abstract要約: ユーザシミュレーターは、人間の研究が到達できない規模で会話検索システムを評価することを約束する。 関連判断がNISTに対応して検索システムの制御プールをランク付けする対話型ユーザシミュレータであるAutoSimについて検討する。 重みを微調整することで、実際のユーザのように振る舞うことができ、システムがどのように機能するかをより正確に見積もることができます。
• 参考スコア（独自算出の注目度）: 3.2058241360543254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User simulators promise to evaluate conversational search systems at a scale human studies cannot reach, but only if their behavior is realistic enough to trust. We study AutoSim, a conversational-search user simulator whose relevance judgments rank a controlled pool of retrieval systems in agreement with NIST across three TREC iKAT years (Kendall's $τ$ of $0.66$, $0.91$, and $0.91$; all $p{\le}0.002$), an agreement that survives removing its persona. AutoSim self-improves against a held-out signal from real users, and we find that fine-tuning its weights makes it behave like real users, which in turn gives a more accurate estimate of how well a system serves them. Reaching that behavior takes more than prompting: when discriminating between real and simulated user sessions, no prompt we tried lowers a held-out real-versus-simulated classifier below AUC $0.85$, whereas fine-tuning the weights drives it to $0.45$, where neither the classifier nor a human reading full dialogues can tell it from a real user. That added realism is what makes the evaluation more accurate: where real users retrieve little, a prompted simulator over-estimates retrieval effectiveness by $+0.136$ nDCG and returns a relevant passage on $57\%$ of the turns where real users find none, enough to change a deployment decision. Only the weight-level simulator escapes this bias. We release the framework and code.
• Abstract（参考訳）: ユーザシミュレーターは、人間の研究が到達できない規模で会話型検索システムを評価することを約束するが、彼らの行動が信頼できるほど現実的である場合のみである。 我々は,3年間のTREC iKAT(Kendall's $τ$ of $0.66$, $0.91$; all $p{\le}0.002$; all $p{\le}0.002$)でNISTと一致して検索システムの制御プールをランク付けした対話型ユーザシミュレータAutoSimについて検討した。 AutoSimは、実際のユーザーからのホールドアウト信号に対して自己改善を行い、その重みを微調整することで、実際のユーザーのように振る舞う。 リアルセッションとシミュレートされたユーザーセッションを区別する場合、AUC$0.85$以下に保持されている実ヴァースシミュレーション分類器を下げるプロンプトはないが、重みを微調整すると0.45$になる。 実際のユーザがほとんど検索しない場合、プロンプトされたシミュレーターは、+0.136$ nDCGで検索効率を過大評価し、実際のユーザが何も見つからない場合、デプロイの判断を変えるのに十分なターンの57.%で関連するパスを返す。 重量レベルのシミュレータだけがこのバイアスを逃れる。 フレームワークとコードをリリースします。

関連論文リスト

• CUEing User Simulators: Calibrated User Embeddings for Multi-Turn Benchmarking [5.827387573634597]
  Calibrated User Embeddings (CUE)は、観察されたセッションをエンコードし、継続的な表現をサンプルし、それらをペルソナコマンドにデコードするフレームワークである。 2ドルのBenchでは、CUEdシミュレータは、シミュレータが分散したエラーが少なく、より忠実に実ユーザエージェントのエラーモードを再現する。 主にカスタマーサポートのインタラクションに適合した後、同じCUEdシミュレータはドキュメント作成、数学の学習、カジュアルな会話に一般化する。
  論文  参考訳（メタデータ） (2026-10-01T20:34:16Z)
• SimEval-IR: A Unified Toolkit and Benchmark Suite for Evaluating User Simulators and Search Sessions [1.1105673928718571]
  オープンソースのツールキットとベンチマークスイートであるSimEval-IRについて述べる。 SimEval-IR は,(1) セッション検索と対話を統一する標準セッションスキーマ,(2) 行動リアリズム,RATE スタイルの推定によるテスタの信頼性,および2つの言語と4つのシミュレーターファミリーの4つの実データセットのベースライン結果に関する3つのベンチマークを提供する。
  論文  参考訳（メタデータ） (2026-04-30T13:56:18Z)
• SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
  大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。 人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。 我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
  論文  参考訳（メタデータ） (2025-10-06T23:17:44Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。