論文の概要: BotEval: Facilitating Interactive Human Evaluation

• arxiv url: http://arxiv.org/abs/2407.17770v1
• Date: Thu, 25 Jul 2024 04:57:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-26 15:17:52.209708
• Title: BotEval: Facilitating Interactive Human Evaluation
• Title（参考訳）: BotEval: インタラクティブな人間評価を実現する
• Authors: Hyundong Cho, Thamme Gowda, Yuyang Huang, Zixun Lu, Tianli Tong, Jonathan May,
• Abstract要約: BotEvalは評価プロセスの一部として人間とボットのインタラクションを可能にする評価ツールキットである。 我々は、評価プロセスの一部として、人間とボットの対話を可能にすることに焦点を当てた、カスタマイズが容易でオープンソースの評価ツールキットBotEvalを開発した。
• 参考スコア（独自算出の注目度）: 21.99269491969255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Following the rapid progress in natural language processing (NLP) models, language models are applied to increasingly more complex interactive tasks such as negotiations and conversation moderations. Having human evaluators directly interact with these NLP models is essential for adequately evaluating the performance on such interactive tasks. We develop BotEval, an easily customizable, open-source, evaluation toolkit that focuses on enabling human-bot interactions as part of the evaluation process, as opposed to human evaluators making judgements for a static input. BotEval balances flexibility for customization and user-friendliness by providing templates for common use cases that span various degrees of complexity and built-in compatibility with popular crowdsourcing platforms. We showcase the numerous useful features of BotEval through a study that evaluates the performance of various chatbots on their effectiveness for conversational moderation and discuss how BotEval differs from other annotation tools.
• Abstract（参考訳）: 自然言語処理(NLP)モデルの急速な進歩に続いて、言語モデルは交渉や会話のモデレーションといったより複雑な対話的タスクに適用される。 人間の評価者がこれらのNLPモデルと直接対話することは、このような対話的なタスクのパフォーマンスを適切に評価するのに不可欠である。 静的入力の判定を行う人間評価者に対して,評価プロセスの一部として,人間とボットのインタラクションを可能にすることに焦点を当てた,カスタマイズが容易なオープンソースの評価ツールキットであるBotEvalを開発した。 BotEvalは、さまざまな複雑さと一般的なクラウドソーシングプラットフォームとのビルトイン互換性にまたがる一般的なユースケースのためのテンプレートを提供することで、カスタマイズとユーザフレンドリ性の柔軟性をバランスさせる。 チャットボットの性能を対話型モデレーションの有効性で評価し,他のアノテーションツールとBotEvalの相違点について論じる。

関連論文リスト

• DiverseDialogue: A Methodology for Designing Chatbots with Human-Like Diversity [5.388338680646657]
  また, GPT-4o miniは, 複数の言語的特徴にまたがって, 実際の人間と系統的に異なることを示す。 本研究では,実際の人的インタラクションから派生した特徴を取り入れたユーザシミュレーションのプロンプトを自動生成する手法を提案する。 本手法は,特定の言語的特徴を対象とするように最適化され,大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-08-30T21:33:58Z)
• Perceived Usability of Collaborative Modeling Tools [0.1957338076370071]
  同様のオンライン協調モデリングツールのユーザビリティを比較検討した。 数値的・質的な探索を行い,推論統計と数理解析を適用した。
  論文  参考訳（メタデータ） (2024-08-26T08:19:23Z)
• A Multi-Modal Explainability Approach for Human-Aware Robots in Multi-Party Conversation [39.87346821309096]
  本稿では,従来のSOTAと比較して性能が向上したアドレス推定モデルを提案する。 また、上記のアーキテクチャに説明可能性と透明性を組み込むいくつかの方法を提案する。
  論文  参考訳（メタデータ） (2024-05-20T13:09:32Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
  われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。 分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T15:13:04Z)
• Approximating Online Human Evaluation of Social Chatbots with Prompting [11.657633779338724]
  既存の評価指標は、オフラインユーザ評価の自動化と、事前計算したダイアログの人的判断の近似を目的としている。 GPTファミリーの大規模言語モデル(LLM)を利用したオンライン人間評価の近似手法を提案する。 Prompting (DEP) に基づく新しいダイアログシステム評価フレームワークを導入し,完全な自動評価パイプラインを実現する。
  論文  参考訳（メタデータ） (2023-04-11T14:45:01Z)
• PLACES: Prompting Language Models for Social Conversation Synthesis [103.94325597273316]
  我々は、プロンプトを用いてソーシャルな会話データセットを合成するために、専門家による会話の小さなセットをコンテキスト内例として使用します。 人工会話の徹底的な評価を,人間による会話と比較して行った。
  論文  参考訳（メタデータ） (2023-02-07T05:48:16Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• You Impress Me: Dialogue Generation via Mutual Persona Perception [62.89449096369027]
  認知科学の研究は、理解が高品質なチャット会話に不可欠なシグナルであることを示唆している。 そこで我々は,P2 Botを提案する。このP2 Botは,理解を明示的にモデル化することを目的とした送信機受信者ベースのフレームワークである。
  論文  参考訳（メタデータ） (2020-04-11T12:51:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。