論文の概要: SimEval-IR: A Unified Toolkit and Benchmark Suite for Evaluating User Simulators and Search Sessions
- arxiv url: http://arxiv.org/abs/2604.27878v1
- Date: Thu, 30 Apr 2026 13:56:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:54.120438
- Title: SimEval-IR: A Unified Toolkit and Benchmark Suite for Evaluating User Simulators and Search Sessions
- Title（参考訳）: SimEval-IR: ユーザシミュレータと検索セッションを評価するための統一ツールキットとベンチマークスイート
- Abstract要約: オープンソースのツールキットとベンチマークスイートであるSimEval-IRについて述べる。
SimEval-IR は,(1) セッション検索と対話を統一する標準セッションスキーマ,(2) 行動リアリズム,RATE スタイルの推定によるテスタの信頼性,および2つの言語と4つのシミュレーターファミリーの4つの実データセットのベースライン結果に関する3つのベンチマークを提供する。
- 参考スコア（独自算出の注目度）: 1.1105673928718571
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: User simulators are increasingly central to interactive information retrieval, yet the community lacks standardized evaluation tools. Simulators serve two objectives, behavioral realism (matching real user behavior) and tester reliability (producing valid system rankings), and these are often conflated despite being distinct and sometimes conflicting. We present SimEval-IR, an open-source toolkit and benchmark suite that makes this distinction measurable. SimEval-IR provides: (1) a canonical session schema unifying session search and conversational interactions, with validated dataset adapters and explicit loss accounting; (2) three executable benchmarks covering behavioral realism, tester reliability with RATE-style estimation, and an analysis linking the two; and (3) baseline results across four real datasets in two languages and four simulator families. Our key finding: the classifier-discriminator ''human-likeness'' check, the dominant realism test in the literature, has essentially no pooled predictive power for system-ranking validity ($r{=}{+}0.09$, $n{=}48$), while marginal click-depth distance and Fréchet distance over session embeddings give a much stronger signal ($|r|{=}0.43$ and $0.40$, $p{\leq}0.005$). SimEval-IR is released with all configurations and scripts to reproduce the reported analysis.
- Abstract（参考訳）: ユーザシミュレータはますますインタラクティブな情報検索の中心になっているが、コミュニティには標準化された評価ツールがない。
シミュレーションは2つの目的、行動リアリズム(実際のユーザの振る舞いにマッチする)とテスタの信頼性(有効なシステムランキングを生成する)を提供する。
我々は、オープンソースのツールキットとベンチマークスイートであるSimEval-IRを紹介し、この区別を計測可能にする。
SimEval-IR は,(1) セッション検索と対話を統一する標準セッションスキーマ,(2) 行動リアリズム,RATE スタイルの推定によるテスタの信頼性,および2つの言語と4つのシミュレーターファミリーの4つの実データセットのベースライン結果に関する3つのベンチマークを提供する。
我々の重要な発見は、文献における支配的リアリズムテストである分類器-識別器 '' human-likeness' チェックは、本質的に、システムレベルの妥当性(r{=}{+}0.09$, $n{=}48$)に対してプール化された予測力を持っていないのに対して、セッション埋め込みに対するクリック深度距離とフレシェ距離は、はるかに強い信号(|r|{=}0.43$, $0.40$, $p{\leq}0.005$)を与える。
SimEval-IRは、報告された分析を再現するすべての設定とスクリプトと共にリリースされている。
関連論文リスト
- Disclosure-Gated User Simulation for Companion-Agent Evaluation [14.962552394114894]
私たちは大きな言語モデルを使ってユーザをプレイし、その仕様に対してユーザシミュレータをトレーニングします。
ゲーティング行動は、トレーニングコーパスの合成ブランチから学習され、実際のブランチは、人々が話す方法と反応する方法を提供する。
ランク付けは順序保存でなければならず、絶対スコアはスケール安定でなければなりません。
論文 参考訳（メタデータ） (2026-09-01T09:39:41Z) - DeepInsight II: One Trace from Benchmark to Robot [8.388561928330978]
DeepInsight IIは、その基板を固定し、エンボディされたハーフを定量化する。
MotionBenchは、リリースされている4つのボディコントローラを1つのワークロードとメトリックコントラクトの下に配置する。
合成されたシステム2--1--0の研究は、トレースの局在を5つのエビデンスグラウンドのハンドオフラベルに拡張する。
論文 参考訳（メタデータ） (2026-08-17T13:25:24Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors [61.610957638373826]
本研究では,実際のユーザ行動とシミュレーションユーザ行動の分布ギャップを計測する手法を提案する。
実会話とシミュレーション会話のデータセットが与えられた場合,本手法は各会話からユーザ行動の表現を抽出する。
ほとんどのシミュレータも同様に振る舞うが、いくつかは独立している。
論文 参考訳（メタデータ） (2026-05-08T15:09:25Z) - ConvApparel: A Benchmark Dataset and Validation Framework for User Simulators in Conversational Recommenders [48.83868690303791]
このギャップに対処するために設計された、人間とAIの会話の新しいデータセットであるConvApparelを紹介します。
そのユニークなデュアルエージェントデータ収集プロトコル -- "よい" と "悪い" のレコメンデータを使用する -- は、偽物検証を可能にする。
本稿では,統計的アライメント,人間的類似度スコア,および対実的検証を組み合わせた総合的検証フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-18T23:00:21Z) - MirrorBench: An Extensible Framework to Evaluate User-Proxy Agents for Human-Likeness [0.4893345190925178]
大型言語モデル (LLM) は人間のシミュレータとしてますます使われている。
Naive "act-as-a-user" はしばしば冗長で非現実的な発話をもたらす。
ユーザプロキシを評価するベンチマークフレームワークであるMIRRORBENCHについて述べる。
論文 参考訳（メタデータ） (2026-01-13T01:16:13Z) - Sim4IA-Bench: A User Simulation Benchmark Suite for Next Query and Utterance Prediction [18.30483927706278]
我々は,次のクエリと発話の予測のためのシミュレーションベンチマークであるSim4IA-Benchを提案する。
データセットはCORE検索エンジンから160の現実世界の検索セッションで構成されている。
Sim4IA-Benchは、ユーザシミュレートアプローチを評価し比較するための基盤を提供する。
論文 参考訳（メタデータ） (2025-11-12T13:44:12Z) - SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。
人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。
我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
論文 参考訳（メタデータ） (2025-10-06T23:17:44Z) - Pseudo-Simulation for Autonomous Driving [66.1981253104508]
既存の自動運転車(AV)の評価パラダイムは、重大な制限に直面している。
現実世界の評価は、安全上の懸念と現実主義の欠如のためにしばしば困難である。
オープンループ評価は、一般的に複合的なエラーを見落としているメトリクスに依存する。
論文 参考訳（メタデータ） (2025-06-04T17:57:53Z) - Metaphorical User Simulators for Evaluating Task-oriented Dialogue
Systems [80.77917437785773]
タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。
本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。
また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
論文 参考訳（メタデータ） (2022-04-02T05:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。