論文の概要: SimEval-IR: A Unified Toolkit and Benchmark Suite for Evaluating User Simulators and Search Sessions

• arxiv url: http://arxiv.org/abs/2604.27878v1
• Date: Thu, 30 Apr 2026 13:56:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.120438
• Title: SimEval-IR: A Unified Toolkit and Benchmark Suite for Evaluating User Simulators and Search Sessions
• Title（参考訳）: SimEval-IR: ユーザシミュレータと検索セッションを評価するための統一ツールキットとベンチマークスイート
• Authors: Saber Zerhoudi,
• Abstract要約: オープンソースのツールキットとベンチマークスイートであるSimEval-IRについて述べる。 SimEval-IR は,(1) セッション検索と対話を統一する標準セッションスキーマ,(2) 行動リアリズム,RATE スタイルの推定によるテスタの信頼性,および2つの言語と4つのシミュレーターファミリーの4つの実データセットのベースライン結果に関する3つのベンチマークを提供する。
• 参考スコア（独自算出の注目度）: 1.1105673928718571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User simulators are increasingly central to interactive information retrieval, yet the community lacks standardized evaluation tools. Simulators serve two objectives, behavioral realism (matching real user behavior) and tester reliability (producing valid system rankings), and these are often conflated despite being distinct and sometimes conflicting. We present SimEval-IR, an open-source toolkit and benchmark suite that makes this distinction measurable. SimEval-IR provides: (1) a canonical session schema unifying session search and conversational interactions, with validated dataset adapters and explicit loss accounting; (2) three executable benchmarks covering behavioral realism, tester reliability with RATE-style estimation, and an analysis linking the two; and (3) baseline results across four real datasets in two languages and four simulator families. Our key finding: the classifier-discriminator ''human-likeness'' check, the dominant realism test in the literature, has essentially no pooled predictive power for system-ranking validity ($r{=}{+}0.09$, $n{=}48$), while marginal click-depth distance and Fréchet distance over session embeddings give a much stronger signal ($|r|{=}0.43$ and $0.40$, $p{\leq}0.005$). SimEval-IR is released with all configurations and scripts to reproduce the reported analysis.
• Abstract（参考訳）: ユーザシミュレータはますますインタラクティブな情報検索の中心になっているが、コミュニティには標準化された評価ツールがない。 シミュレーションは2つの目的、行動リアリズム(実際のユーザの振る舞いにマッチする)とテスタの信頼性(有効なシステムランキングを生成する)を提供する。 我々は、オープンソースのツールキットとベンチマークスイートであるSimEval-IRを紹介し、この区別を計測可能にする。 SimEval-IR は,(1) セッション検索と対話を統一する標準セッションスキーマ,(2) 行動リアリズム,RATE スタイルの推定によるテスタの信頼性,および2つの言語と4つのシミュレーターファミリーの4つの実データセットのベースライン結果に関する3つのベンチマークを提供する。 我々の重要な発見は、文献における支配的リアリズムテストである分類器-識別器 '' human-likeness' チェックは、本質的に、システムレベルの妥当性(r{=}{+}0.09$, $n{=}48$)に対してプール化された予測力を持っていないのに対して、セッション埋め込みに対するクリック深度距離とフレシェ距離は、はるかに強い信号(|r|{=}0.43$, $0.40$, $p{\leq}0.005$)を与える。 SimEval-IRは、報告された分析を再現するすべての設定とスクリプトと共にリリースされている。

関連論文リスト

• ConvApparel: A Benchmark Dataset and Validation Framework for User Simulators in Conversational Recommenders [48.83868690303791]
  このギャップに対処するために設計された、人間とAIの会話の新しいデータセットであるConvApparelを紹介します。 そのユニークなデュアルエージェントデータ収集プロトコル -- "よい" と "悪い" のレコメンデータを使用する -- は、偽物検証を可能にする。 本稿では,統計的アライメント,人間的類似度スコア,および対実的検証を組み合わせた総合的検証フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-18T23:00:21Z)
• MirrorBench: An Extensible Framework to Evaluate User-Proxy Agents for Human-Likeness [0.4893345190925178]
  大型言語モデル (LLM) は人間のシミュレータとしてますます使われている。 Naive "act-as-a-user" はしばしば冗長で非現実的な発話をもたらす。 ユーザプロキシを評価するベンチマークフレームワークであるMIRRORBENCHについて述べる。
  論文  参考訳（メタデータ） (2026-01-13T01:16:13Z)
• Sim4IA-Bench: A User Simulation Benchmark Suite for Next Query and Utterance Prediction [18.30483927706278]
  我々は,次のクエリと発話の予測のためのシミュレーションベンチマークであるSim4IA-Benchを提案する。 データセットはCORE検索エンジンから160の現実世界の検索セッションで構成されている。 Sim4IA-Benchは、ユーザシミュレートアプローチを評価し比較するための基盤を提供する。
  論文  参考訳（メタデータ） (2025-11-12T13:44:12Z)
• SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
  大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。 人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。 我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
  論文  参考訳（メタデータ） (2025-10-06T23:17:44Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。