論文の概要: User Simulation for Evaluating Information Access Systems

• arxiv url: http://arxiv.org/abs/2306.08550v2
• Date: Thu, 23 May 2024 19:29:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 00:15:41.093188
• Title: User Simulation for Evaluating Information Access Systems
• Title（参考訳）: 情報アクセスシステム評価のためのユーザシミュレーション
• Authors: Krisztian Balog, ChengXiang Zhai,
• Abstract要約: インタラクティブな知能システムの有効性を評価することは 複雑な科学的課題です 本書は,評価に特化して設計されたユーザシミュレーション技術について,詳細な理解を提供する。 ユーザシミュレータを設計するための一般的なフレームワークと、検索エンジン、レコメンダシステム、会話アシスタントとのユーザインタラクションをシミュレートする特定のモデルとアルゴリズムの両方をカバーする。
• 参考スコア（独自算出の注目度）: 38.48048183731099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information access systems, such as search engines, recommender systems, and conversational assistants, have become integral to our daily lives as they help us satisfy our information needs. However, evaluating the effectiveness of these systems presents a long-standing and complex scientific challenge. This challenge is rooted in the difficulty of assessing a system's overall effectiveness in assisting users to complete tasks through interactive support, and further exacerbated by the substantial variation in user behaviour and preferences. To address this challenge, user simulation emerges as a promising solution. This book focuses on providing a thorough understanding of user simulation techniques designed specifically for evaluation purposes. We begin with a background of information access system evaluation and explore the diverse applications of user simulation. Subsequently, we systematically review the major research progress in user simulation, covering both general frameworks for designing user simulators, utilizing user simulation for evaluation, and specific models and algorithms for simulating user interactions with search engines, recommender systems, and conversational assistants. Realizing that user simulation is an interdisciplinary research topic, whenever possible, we attempt to establish connections with related fields, including machine learning, dialogue systems, user modeling, and economics. We end the book with a detailed discussion of important future research directions, many of which extend beyond the evaluation of information access systems and are expected to have broader impact on how to evaluate interactive intelligent systems in general.
• Abstract（参考訳）: 検索エンジンやレコメンデータシステム,会話アシスタントといった情報アクセスシステムは,情報ニーズを満たす上で,私たちの日常生活に不可欠なものになっています。 しかしながら、これらのシステムの有効性を評価することは、長年にわたる複雑な科学的課題である。 この課題は、ユーザが対話的なサポートを通じてタスクを完了するのを支援するシステム全体の効果を評価することの難しさと、ユーザの行動や嗜好のかなりの変化によってさらに悪化することの根底にある。 この課題に対処するために、ユーザシミュレーションは有望なソリューションとして現れます。 本書は,評価目的に特化して設計されたユーザシミュレーション技術について,徹底的に理解することに焦点を当てている。 情報アクセスシステム評価の背景から始まり,ユーザシミュレーションの多様な応用を探求する。 その後,ユーザシミュレータの設計,評価にユーザシミュレーションを利用する一般的なフレームワークと,検索エンジン,レコメンダシステム,会話アシスタントとのユーザインタラクションをシミュレートする特定のモデルとアルゴリズムの両方を網羅して,ユーザシミュレーションにおける主要な研究成果を体系的にレビューする。 ユーザシミュレーションが学際的な研究課題であることを認識し,機械学習,対話システム,ユーザモデリング,経済学などの関連分野との連携を確立する。 本書は,情報アクセスシステムの評価を超えて,対話型知的システム全般の評価方法に広範な影響を与えることが期待されている,今後の重要な研究方向性について,詳細な議論で締めくくっている。

関連論文リスト

• Reliable LLM-based User Simulator for Task-Oriented Dialogue Systems [2.788542465279969]
  本稿では,ドメイン対応ユーザシミュレータDAUSを紹介する。 タスク指向対話の実例について,DAUSを微調整する。 2つの関連するベンチマークの結果は、ユーザ目標達成の点で大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-20T20:57:47Z)
• User Behavior Simulation with Large Language Model based Agents [116.74368915420065]
  LLMベースのエージェントフレームワークを提案し,実際のユーザ動作をシミュレートするサンドボックス環境を設計する。 実験結果から,本手法のシミュレーション行動は実人の行動に非常に近いことが判明した。
  論文  参考訳（メタデータ） (2023-06-05T02:58:35Z)
• Interactive System-wise Anomaly Detection [66.3766756452743]
  異常検出は様々なアプリケーションにおいて基本的な役割を果たす。 既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。 システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
  論文  参考訳（メタデータ） (2023-04-21T02:20:24Z)
• Synthetic Data-Based Simulators for Recommender Systems: A Survey [55.60116686945561]
  本調査は,モデリングとシミュレーションの分野における最近のトレンドを包括的に概観することを目的としている。 まずは、シミュレーターを実装するフレームワークの開発の背後にあるモチベーションから始めます。 我々は,既存のシミュレータの機能,近似,産業的有効性に基づいて,新しい一貫した一貫した分類を行う。
  論文  参考訳（メタデータ） (2022-06-22T19:33:21Z)
• Use-Case-Grounded Simulations for Explanation Evaluation [23.584251632331046]
  シミュレーション評価(SimEvals)について紹介する。 SimEvalsは、人間の被験者の被験者に提示される情報の内容を入力するアルゴリズムエージェントを訓練する。 実世界の3つのユースケースについて総合的な評価を行い、Simevalsが各ユースケースにおいてどの説明方法が人間に役立つかを効果的に特定できることを実証した。
  論文  参考訳（メタデータ） (2022-06-05T20:12:19Z)
• Metaphorical User Simulators for Evaluating Task-oriented Dialogue Systems [80.77917437785773]
  タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。 本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。 また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-02T05:11:03Z)
• Learning User-Interpretable Descriptions of Black-Box AI System Capabilities [9.608555640607731]
  本稿では,ブラックボックスAIシステムの限界と能力について,ユーザ解釈可能な記号記述を学習するためのアプローチを提案する。 階層的なアクティブクエリパラダイムを使用して質問を生成し、その応答に基づいてAIシステムのユーザ解釈可能なモデルを学ぶ。
  論文  参考訳（メタデータ） (2021-07-28T23:33:31Z)
• Micro-entries: Encouraging Deeper Evaluation of Mental Models Over Time for Interactive Data Systems [7.578368459974474]
  本稿では,ユーザによるシステム論理のメンタルモデルの評価について論じる。 メンタルモデルは、キャプチャと分析が難しい。 ユーザーが何を知り、どのように知っているかを説明することで、研究者は構造化された時間順の洞察を集めることができる。
  論文  参考訳（メタデータ） (2020-09-02T18:27:04Z)
• Optimizing Interactive Systems via Data-Driven Objectives [70.3578528542663]
  本稿では,観察されたユーザインタラクションから直接目的を推測する手法を提案する。 これらの推論は、事前の知識によらず、様々な種類のユーザー行動にまたがって行われる。 本稿では,これらの推定対象を最適化するために利用する新しいアルゴリズムであるInteractive System(ISO)を紹介する。
  論文  参考訳（メタデータ） (2020-06-19T20:49:14Z)
• Large-scale Hybrid Approach for Predicting User Satisfaction with Conversational Agents [28.668681892786264]
  ユーザの満足度を測定することは難しい課題であり、大規模な会話エージェントシステムの開発において重要な要素である。 人間のアノテーションに基づくアプローチは簡単に制御できるが、スケールするのは難しい。 新たなアプローチとして,会話エージェントシステムに埋め込まれたフィードバック誘導システムを通じて,ユーザの直接的なフィードバックを収集する手法がある。
  論文  参考訳（メタデータ） (2020-05-29T16:29:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。