論文の概要: SimLab: A Platform for Simulation-based Evaluation of Conversational Information Access Systems

• arxiv url: http://arxiv.org/abs/2507.04888v1
• Date: Mon, 07 Jul 2025 11:19:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.397122
• Title: SimLab: A Platform for Simulation-based Evaluation of Conversational Information Access Systems
• Title（参考訳）: SimLab: 対話型情報アクセスシステムのシミュレーションに基づく評価プラットフォーム
• Authors: Nolwenn Bernard, Sharath Chandra Etagi Suresh, Krisztian Balog, ChengXiang Zhai,
• Abstract要約: 我々は,対話型システムとユーザシミュレータの両方を,制御および再現可能な環境でベンチマークする,最初のクラウドベースのプラットフォームであるSimLabを紹介した。 我々は,SimLabの初期バージョンの設計と実装について紹介し,その特徴を対話型映画レコメンデーションの初期評価タスクで示す。 本論文は,対話型情報アクセスとユーザシミュレーションの分野における進歩を促進するために,コミュニティがプラットフォームにコントリビュートするよう呼びかけるものである。
• 参考スコア（独自算出の注目度）: 33.48172339249859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research on interactive and conversational information access systems, including search engines, recommender systems, and conversational assistants, has been hindered by the difficulty in evaluating such systems with reproducible experiments. User simulation provides a promising solution, but there is a lack of infrastructure and tooling to support this kind of evaluation. To facilitate simulation-based evaluation of conversational information access systems, we introduce SimLab, the first cloud-based platform to provide a centralized general solution for the community to benchmark both conversational systems and user simulators in a controlled and reproducible environment. We articulate requirements for such a platform and propose a general infrastructure to address these requirements. We then present the design and implementation of an initial version of SimLab and showcase its features with an initial evaluation task of conversational movie recommendation, which is made publicly available. Furthermore, we discuss the sustainability of the platform and its future opportunities. This paper is a call for the community to contribute to the platform to drive progress in the field of conversational information access and user simulation.
• Abstract（参考訳）: 対話型・対話型情報アクセスシステム(検索エンジン,レコメンデータシステム,対話型アシスタントなど)の研究は,再現可能な実験による評価の難しさに悩まされている。 ユーザシミュレーションは有望なソリューションを提供するが、この種の評価をサポートするためのインフラストラクチャやツールが不足している。 シミュレーションに基づく対話型情報アクセスシステムの評価を容易にするため,コミュニティが制御・再現可能な環境において,対話型システムとユーザシミュレータの両方をベンチマークする集中型汎用ソリューションを提供する,最初のクラウドベースのプラットフォームであるSimLabを紹介した。 このようなプラットフォームの要件を明確に述べ、これらの要件に対処するための一般的なインフラを提案します。 次に,SimLabの初期バージョンの設計と実装について紹介し,その特徴を対話型映画レコメンデーションの初期評価タスクで示す。 さらに,プラットフォームの持続可能性とその将来的可能性についても論じる。 本論文は,対話型情報アクセスとユーザシミュレーションの分野における進歩を促進するために,コミュニティがプラットフォームにコントリビュートするよう呼びかけるものである。

関連論文リスト

• Beyond Static Testbeds: An Interaction-Centric Agent Simulation Platform for Dynamic Recommender Systems [40.09105175322562]
  RecInterは、リコメンダシステムのための新しいエージェントベースのシミュレーションプラットフォームである。 RecInterでは、ユーザーアクション(例えば、レビュー、購入など)をリアルタイムで動的に更新する。 Merchant Agentsは、より現実的で進化したエコシステムを育むことができる。
  論文  参考訳（メタデータ） (2025-05-22T09:14:23Z)
• Design of JiuTian Intelligent Network Simulation Platform [16.343389061714973]
  本稿では,オープンイノベーションプラットフォーム向けに無線通信シミュレーションデータサービスを提供するJuTian Intelligent Network Simulation Platformを紹介する。 プラットフォームには一連のスケーラブルなシミュレータ機能が含まれており、シミュレーション環境とデータに基づいたモデルトレーニングと推論に強化学習アルゴリズムを使用できるオープンなサービスを提供している。
  論文  参考訳（メタデータ） (2023-09-28T07:02:39Z)
• User Simulation for Evaluating Information Access Systems [38.48048183731099]
  インタラクティブな知能システムの有効性を評価することは 複雑な科学的課題です 本書は,評価に特化して設計されたユーザシミュレーション技術について,詳細な理解を提供する。 ユーザシミュレータを設計するための一般的なフレームワークと、検索エンジン、レコメンダシステム、会話アシスタントとのユーザインタラクションをシミュレートする特定のモデルとアルゴリズムの両方をカバーする。
  論文  参考訳（メタデータ） (2023-06-14T14:54:06Z)
• Synthetic Data-Based Simulators for Recommender Systems: A Survey [55.60116686945561]
  本調査は,モデリングとシミュレーションの分野における最近のトレンドを包括的に概観することを目的としている。 まずは、シミュレーターを実装するフレームワークの開発の背後にあるモチベーションから始めます。 我々は,既存のシミュレータの機能,近似,産業的有効性に基づいて,新しい一貫した一貫した分類を行う。
  論文  参考訳（メタデータ） (2022-06-22T19:33:21Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)
• Recommendation System Simulations: A Discussion of Two Key Challenges [0.0]
  シミュレーションは、レコメンデーションシステムが個人や社会に与える影響を理解するための道を提供する。 本稿では、まず、推奨項目を選択したり、関わったりするためのモデルを定義し、次に、プラットフォームから直接推奨されない項目に遭遇するためのメカニズムを定義します。
  論文  参考訳（メタデータ） (2021-08-25T15:11:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。