論文の概要: Towards the Assessment of Task-based Chatbots: From the TOFU-R Snapshot to the BRASATO Curated Dataset

• arxiv url: http://arxiv.org/abs/2508.15496v1
• Date: Thu, 21 Aug 2025 12:24:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.315784
• Title: Towards the Assessment of Task-based Chatbots: From the TOFU-R Snapshot to the BRASATO Curated Dataset
• Title（参考訳）: タスクベースチャットボットの評価に向けて:TOFU-RスナップショットからBRASATOキュレートデータセットへ
• Authors: Elena Masserini, Diego Clerissi, Daniela Micucci, João R. Campos, Leonardo Mariani,
• Abstract要約: 本稿では,これらのデータセットの作成と維持に必要な2つのデータセットとツールサポートについて述べる。 最初のデータセットは、GitHubで利用可能なRasaチャットボットのスナップショットであるGITHUB(TOFU-R)からのRASA TASK-BASED CHATBOTSである。 2つめのデータセットはBOT RASA COLLECTION (BRASATO) で、対話の複雑さ、機能的複雑さ、ユーティリティに関する最も関連性の高いチャットボットのキュレートされた選択である。
• 参考スコア（独自算出の注目度）: 4.236238836715225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Task-based chatbots are increasingly being used to deliver real services, yet assessing their reliability, security, and robustness remains underexplored, also due to the lack of large-scale, high-quality datasets. The emerging automated quality assessment techniques targeting chatbots often rely on limited pools of subjects, such as custom-made toy examples, or outdated, no longer available, or scarcely popular agents, complicating the evaluation of such techniques. In this paper, we present two datasets and the tool support necessary to create and maintain these datasets. The first dataset is RASA TASK-BASED CHATBOTS FROM GITHUB (TOFU-R), which is a snapshot of the Rasa chatbots available on GitHub, representing the state of the practice in open-source chatbot development with Rasa. The second dataset is BOT RASA COLLECTION (BRASATO), a curated selection of the most relevant chatbots for dialogue complexity, functional complexity, and utility, whose goal is to ease reproducibility and facilitate research on chatbot reliability.
• Abstract（参考訳）: タスクベースのチャットボットは、実際のサービスの提供にますます使用されていますが、信頼性、セキュリティ、堅牢性については、大規模で高品質なデータセットが欠如していることから、未調査のままです。 チャットボットをターゲットとする自動品質評価技術は、カスタムメイドのおもちゃの例や時代遅れ、もはや利用できない、あるいはあまり人気がないエージェントなど、限られた対象に頼っていることが多い。 本稿では,これらのデータセットの作成と維持に必要な2つのデータセットとツールサポートについて述べる。 最初のデータセットは、RASA TASK-BASED CHATBOTS FROM GITHUB (TOFU-R)であり、GitHubで利用可能なRasaチャットボットのスナップショットであり、Rasaによるオープンソースのチャットボット開発におけるプラクティスの状況を表している。 2つ目のデータセットであるBOT RASA COLLECTION (BRASATO)は、対話の複雑さ、機能的複雑さ、ユーティリティに関する最も関連性の高いチャットボットのキュレートされた選択である。

関連論文リスト

• Seq2Seq Model-Based Chatbot with LSTM and Attention Mechanism for Enhanced User Interaction [1.937324318931008]
  本研究では、注意機構とLong Short-Term Memory(LSTM)セルを組み込んだエンコーダデコーダアーキテクチャを備えたSeq2Seqモデルを提案する。 提案されているSeq2Seqモデルベースのロボットは、モロッコのドラア・タフィラレ(Draa-Tafilalet)にある観光セクター向けのデータセットで訓練され、検証され、テストされている。
  論文  参考訳（メタデータ） (2024-12-27T23:50:54Z)
• An Approach for Auto Generation of Labeling Functions for Software Engineering Chatbots [3.1911318265930944]
  ラベル付きユーザクエリからパターンを抽出し,ラベル付け関数(LF)を自動的に生成する手法を提案する。 我々は,4つのSEデータセットに対するアプローチを評価し,生成したLFをラベル付けしたクエリに対して,NLUのトレーニングからの性能向上を評価する。
  論文  参考訳（メタデータ） (2024-10-09T17:34:14Z)
• Distinguishing Chatbot from Human [1.1249583407496218]
  我々は,75万以上の人文文からなる新しいデータセットを開発した。 このデータセットに基づいて、テキストの起源を決定するために機械学習(ML)技術を適用する。 提案手法は高い分類精度を提供し,テキスト解析に有用なツールである。
  論文  参考訳（メタデータ） (2024-08-03T13:18:04Z)
• A Transformer-based Approach for Augmenting Software Engineering Chatbots Datasets [4.311626046942916]
  ソフトウェアエンジニアリングデータセットを拡張するための自動トランスフォーマーベースのアプローチを提案する。 3つのソフトウェアエンジニアリングデータセットを用いて,拡張アプローチがRasa NLUの性能に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-07-16T17:48:44Z)
• Enhancing Chat Language Models by Scaling High-quality Instructional Conversations [91.98516412612739]
  まず,UltraChatという,体系的に設計され,多様で,情報的,大規模な会話データセットを提供する。 我々の目標は、人間がAIアシスタントで持つであろう対話の幅を捉えることです。 我々はLLaMAモデルを微調整し、強力な対話モデルであるUltraLLaMAを作成する。
  論文  参考訳（メタデータ） (2023-05-23T16:49:14Z)
• SESCORE2: Learning Text Generation Evaluation via Synthesizing Realistic Mistakes [93.19166902594168]
  テキスト生成評価のためのモデルベースメトリックを学習するための自己教師型アプローチSESCORE2を提案する。 鍵となる概念は、コーパスから取得した文を摂動することで、現実的なモデルミスを合成することである。 3言語にわたる4つのテキスト生成タスクにおいて,SESCORE2とそれ以前の手法を評価する。
  論文  参考訳（メタデータ） (2022-12-19T09:02:16Z)
• Information Extraction and Human-Robot Dialogue towards Real-life Tasks: A Baseline Study with the MobileCS Dataset [52.22314870976088]
  SereTODチャレンジは、実際のユーザとChina Mobileのカスタマーサービススタッフの実際のダイアログ書き起こしで構成されるMobileCSデータセットを編成してリリースする。 MobileCSデータセットに基づいて、SereTODチャレンジには2つのタスクがあり、対話システム自体の構築を評価するだけでなく、ダイアログの書き起こしからの情報も抽出する。 本稿では主に,MobileCSデータセットを用いた2つのタスクのベースラインスタディを示す。
  論文  参考訳（メタデータ） (2022-09-27T15:30:43Z)
• Training Conversational Agents with Generative Conversational Networks [74.9941330874663]
  我々は、生成会話ネットワークを使用して、自動的にデータを生成し、社会的会話エージェントを訓練する。 自動メトリクスと人的評価器を用いてTopicalChatのアプローチを評価し、10%のシードデータで100%のデータを使用するベースラインに近いパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-15T21:46:39Z)
• Pchatbot: A Large-Scale Dataset for Personalized Chatbot [49.16746174238548]
  本稿では,Weibo と Judicial のフォーラムから収集した2つのサブセットを含む大規模対話データセットである Pchatbot を紹介する。 生データセットを対話システムに適応させるため、匿名化などのプロセスを通じて生データセットを精巧に正規化する。 Pchatbotのスケールは、既存の中国のデータセットよりも大幅に大きく、データ駆動モデルの恩恵を受ける可能性がある。
  論文  参考訳（メタデータ） (2020-09-28T12:49:07Z)
• Chatbot: A Conversational Agent employed with Named Entity Recognition Model using Artificial Neural Network [0.0]
  自然言語理解(NLU)はディープラーニングによって著しく改善されている。 本研究では、データセットのNLUサービスに統合可能な名前付きエンティティ認識(NER)モデルに焦点を当てる。 提案アーキテクチャのNERモデルは、手動で作成したエンティティに基づいてトレーニングされた人工ニューラルネットワークに基づいている。
  論文  参考訳（メタデータ） (2020-06-19T14:47:21Z)
• Conversations with Search Engines: SERP-based Conversational Response Generation [77.1381159789032]
  我々は、検索エンジンと対話するためのパイプラインを開発するために、適切なデータセット、検索・アズ・ア・会話(SaaC)データセットを作成します。 また、このデータセットを用いて、検索エンジンと対話するための最先端パイプライン(Conversations with Search Engines (CaSE))も開発しています。 CaSEは、サポートされたトークン識別モジュールとプリア・アウェア・ポインタージェネレータを導入することで最先端を向上する。
  論文  参考訳（メタデータ） (2020-04-29T13:07:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。