論文の概要: MutaBot: A Mutation Testing Approach for Chatbots

• arxiv url: http://arxiv.org/abs/2401.10372v1
• Date: Thu, 18 Jan 2024 20:38:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-22 17:30:11.842989
• Title: MutaBot: A Mutation Testing Approach for Chatbots
• Title（参考訳）: MutaBot: チャットボットの突然変異テストアプローチ
• Authors: Michael Ferdinando Urrico, Diego Clerissi, Leonardo Mariani
• Abstract要約: MutaBotは、会話フロー、インテント、コンテキストを含む、複数のレベルでの突然変異に対処する。 ツールを3つのDialogflowチャットボットとBotiumで生成されたテストケースで評価し、テストスイートの弱点を明らかにする。
• 参考スコア（独自算出の注目度）: 3.811067614153878
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mutation testing is a technique aimed at assessing the effectiveness of test suites by seeding artificial faults into programs. Although available for many platforms and languages, no mutation testing tool is currently available for conversational chatbots, which represent an increasingly popular solution to design systems that can interact with users through a natural language interface. Note that since conversations must be explicitly engineered by the developers of conversational chatbots, these systems are exposed to specific types of faults not supported by existing mutation testing tools. In this paper, we present MutaBot, a mutation testing tool for conversational chatbots. MutaBot addresses mutations at multiple levels, including conversational flows, intents, and contexts. We designed the tool to potentially target multiple platforms, while we implemented initial support for Google Dialogflow chatbots. We assessed the tool with three Dialogflow chatbots and test cases generated with Botium, revealing weaknesses in the test suites.
• Abstract（参考訳）: 突然変異テストは、人工欠陥をプログラムにシードすることで、テストスイートの有効性を評価する技術である。 多くのプラットフォームや言語で利用可能だが、現在、自然言語インターフェースを通じてユーザと対話できるデザインシステムに対する、ますますポピュラーなソリューションである会話型チャットボットには、突然変異テストツールが利用できない。 会話は会話チャットボットの開発者によって明示的に設計されなければならないため、これらのシステムは既存の突然変異検査ツールでサポートされていない特定の種類の障害にさらされている。 本稿では,会話チャットボットの突然変異検査ツールであるMutaBotを紹介する。 MutaBotは、会話フロー、インテント、コンテキストを含む複数のレベルでの突然変異に対処する。 複数のプラットフォームをターゲットにしたツールを設計し、Google Dialogflowチャットボットの初期サポートを実装しました。 ツールを3つのDialogflowチャットボットとBotiumで生成されたテストケースで評価し、テストスイートの弱点を明らかにした。

関連論文リスト

• Self-Directed Turing Test for Large Language Models [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。 従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。 本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• Automatically generating decision-support chatbots based on DMN models [0.0]
  そこで本研究では,DNM決定モデルに基づく,完全機能的で使いやすい意思決定支援チャットボットの自動生成手法を提案する。 チャットボットの開発時間を短縮し、ドメイン固有のチャットボットの開発を可能にすることを目的として、Demabotツールで必要なフェーズをすべて実装した。
  論文  参考訳（メタデータ） (2024-05-15T18:13:09Z)
• Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
  System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。 本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。 我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。 そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:10:29Z)
• ChatDev: Communicative Agents for Software Development [84.90400377131962]
  ChatDevはチャットを利用したソフトウェア開発フレームワークで、特別なエージェントがコミュニケーション方法についてガイドされる。 これらのエージェントは、統一された言語ベースのコミュニケーションを通じて、設計、コーディング、テストフェーズに積極的に貢献する。
  論文  参考訳（メタデータ） (2023-07-16T02:11:34Z)
• Understanding Multi-Turn Toxic Behaviors in Open-Domain Chatbots [8.763670548363443]
  新しい攻撃である毒物ボットは、多ターン会話において有毒な反応を生成するために開発された。 有害なボットは、産業と研究者の両方が会話における有害な反応を検出し緩和する方法を開発するために使用できる。
  論文  参考訳（メタデータ） (2023-07-14T03:58:42Z)
• Developing Effective Educational Chatbots with ChatGPT prompts: Insights from Preliminary Tests in a Case Study on Social Media Literacy (with appendix) [43.55994393060723]
  ChatGPTのようなゼロショット学習機能を持つ言語学習モデルの最近の進歩は、教育チャットボットを開発する新たな可能性を示している。 本稿では,混合ターンチャットボットのインタラクションを可能にするシンプルなシステムを用いたケーススタディを提案する。 本稿では,ChatGPTが複数の相互接続型学習目標を追求し,文化,年齢,教育レベルなどのユーザ特性に教育活動を適応させ,多様な教育戦略や会話スタイルを活用できる能力について検討する。
  論文  参考訳（メタデータ） (2023-06-18T22:23:18Z)
• Implementing a Chatbot Solution for Learning Management System [0.0]
  今日チャットボットが直面する最大の問題は、人間の言語を模倣することだ。 エクストリームプログラミング手法はChatterBot、Pyside2、Webスクレイピング、TampermonkeyをBlackboardに統合するために選択された。 我々は、AIボットを教育環境に統合する可能性を示した。
  論文  参考訳（メタデータ） (2022-06-27T11:04:42Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)
• If I Hear You Correctly: Building and Evaluating Interview Chatbots with Active Listening Skills [4.395837214164745]
  オープンエンドの質問に対して、ユーザの自由テキスト応答を処理できる効果的なインタビューチャットボットを構築するのは難しい。 我々は,公開可能な実用的なAI技術を用いて,効果的なインタビューチャットボットの構築の実現可能性と有効性について検討している。
  論文  参考訳（メタデータ） (2020-02-05T16:52:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。