論文の概要: A Comparison of Natural Language Understanding Platforms for Chatbots in
Software Engineering
- arxiv url: http://arxiv.org/abs/2012.02640v1
- Date: Fri, 4 Dec 2020 14:59:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-22 20:50:59.716568
- Title: A Comparison of Natural Language Understanding Platforms for Chatbots in
Software Engineering
- Title（参考訳）: ソフトウェア工学におけるチャットボットの自然言語理解プラットフォームの比較
- Authors: Ahmad Abdellatif, Khaled Badran, Diego Elias Costa, and Emad Shihab
- Abstract要約: 我々は、IBM Watson、Google Dialogflow、Rasa、Microsoft LUISの4つの最もよく使われているNLUを評価した。
我々の発見によると、IBM Watsonは3つの側面(インテント分類、信頼性スコア、エンティティ抽出)を考慮すると、最高のNLUである。
- 参考スコア（独自算出の注目度）: 3.57686754209902
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chatbots are envisioned to dramatically change the future of Software
Engineering, allowing practitioners to chat and inquire about their software
projects and interact with different services using natural language. At the
heart of every chatbot is a Natural Language Understanding (NLU) component that
enables the chatbot to understand natural language input. Recently, many NLU
platforms were provided to serve as an off-the-shelf NLU component for
chatbots, however, selecting the best NLU for Software Engineering chatbots
remains an open challenge.
Therefore, in this paper, we evaluate four of the most commonly used NLUs,
namely IBM Watson, Google Dialogflow, Rasa, and Microsoft LUIS to shed light on
which NLU should be used in Software Engineering based chatbots. Specifically,
we examine the NLUs' performance in classifying intents, confidence scores
stability, and extracting entities. To evaluate the NLUs, we use two datasets
that reflect two common tasks performed by Software Engineering practitioners,
1) the task of chatting with the chatbot to ask questions about software
repositories 2) the task of asking development questions on Q&A forums (e.g.,
Stack Overflow). According to our findings, IBM Watson is the best performing
NLU when considering the three aspects (intents classification, confidence
scores, and entity extraction). However, the results from each individual
aspect show that, in intents classification, IBM Watson performs the best with
an F1-measure > 84%, but in confidence scores, Rasa comes on top with a median
confidence score higher than 0.91. Our results also show that all NLUs, except
for Dialogflow, generally provide trustable confidence scores. For entity
extraction, Microsoft LUIS and IBM Watson outperform other NLUs in the two SE
tasks. Our results provide guidance to software engineering practitioners when
deciding which NLU to use in their chatbots.
- Abstract（参考訳）: チャットボットは、ソフトウェアエンジニアリングの未来を劇的に変え、実践者が彼らのソフトウェアプロジェクトについてチャットし、調査し、自然言語を使ってさまざまなサービスと対話できるようにする。
すべてのチャットボットの中心には自然言語理解(NLU)コンポーネントがあり、チャットボットは自然言語入力を理解できる。
近年、チャットボットの既製のNLUコンポーネントとして多くのNLUプラットフォームが提供されているが、ソフトウェアエンジニアリングチャットボットの最高のNLUを選択することはオープンな課題である。
そこで本稿では,IBM Watson, Google Dialogflow, Rasa, Microsoft LUIS の4つの NLU を評価し,ソフトウェア工学ベースのチャットボットにおける NLU の使用方法を明らかにした。
具体的には,NLUの性能を,意図の分類,信頼度スコアの安定性,実体抽出において検証する。
nlusを評価するには、ソフトウェアエンジニアリングの実践者が行う2つの共通タスクを反映した2つのデータセットを使用する。1) チャットボットとチャットしてソフトウェアリポジトリについて質問するタスク 2) q&aフォーラム(例えばstack overflow)で開発質問をするタスク。
我々の発見によると、IBM Watsonは3つの側面(インテント分類、信頼性スコア、エンティティ抽出)を考慮すると、最高のNLUである。
しかしながら、各側面の結果から、ibm watsonは、意図分類において、f1-measure > 84%で最高のパフォーマンスを示すが、信頼度スコアでは、rasaは、0.91よりも高い信頼度スコアで上位に来る。
また,ダイアログフローを除くすべてのNLUが信頼できる信頼スコアを提供することを示した。
エンティティ抽出では、Microsoft LUISとIBM Watsonが2つのSEタスクで他のNLUを上回っている。
この結果は,チャットボットでどのNLUを使うかを決める際に,ソフトウェア工学の実践者にガイダンスを提供する。
関連論文リスト
- A Transformer-based Approach for Augmenting Software Engineering Chatbots Datasets [4.311626046942916]
ソフトウェアエンジニアリングデータセットを拡張するための自動トランスフォーマーベースのアプローチを提案する。
3つのソフトウェアエンジニアリングデータセットを用いて,拡張アプローチがRasa NLUの性能に与える影響を評価する。
論文 参考訳（メタデータ） (2024-07-16T17:48:44Z) - From Human-to-Human to Human-to-Bot Conversations in Software Engineering [3.1747517745997014]
AIとチャットボットの統合後,現代のソフトウェア開発において発生する会話のダイナミクスを理解することを目的としている。
既存の会話属性を人間やNLUベースのチャットボットとコンパイルし、ソフトウェア開発のコンテキストに適応する。
我々は人間同士の会話と人間同士の会話の類似点と相違点を示す。
LLM-chatbotsによる最近の会話スタイルは、人間との会話に取って代わるものではないと結論付けている。
論文 参考訳（メタデータ） (2024-05-21T12:04:55Z) - Deep Learning Based Amharic Chatbot for FAQs in Universities [0.0]
本稿では,アムハラ語の質問(FAQ)に頻繁に答えるモデルを提案する。
提案プログラムでは, トークン化, 停止語除去, ステーミングを用いて, アムハラ語入力文の分析と分類を行う。
このモデルはFacebook Messengerに統合され、Herokuサーバに24時間のアクセシビリティとしてデプロイされた。
論文 参考訳（メタデータ） (2024-01-26T18:37:21Z) - SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence
Understanding [103.34092301324425]
大規模言語モデル(LLM)は、オープンドメインのNLPタスクに顕著な能力を示している。
本稿では、オープンドメインの自然言語理解に特化して強化された、バイリンガル(英語と中国語)のオープンソース自己回帰モデルSeqGPTを提案する。
論文 参考訳（メタデータ） (2023-08-21T07:31:19Z) - ChatDev: Communicative Agents for Software Development [84.90400377131962]
ChatDevはチャットを利用したソフトウェア開発フレームワークで、特別なエージェントがコミュニケーション方法についてガイドされる。
これらのエージェントは、統一された言語ベースのコミュニケーションを通じて、設計、コーディング、テストフェーズに積極的に貢献する。
論文 参考訳（メタデータ） (2023-07-16T02:11:34Z) - Towards More Robust Natural Language Understanding [0.0]
自然言語理解(NLU)は自然言語処理(NLP)の分野である
近年、深層学習技術を用いた様々なNLUタスクが目覚ましい進歩を遂げている。
自然言語を理解する人間の能力は柔軟で堅牢です。
論文 参考訳（メタデータ） (2021-12-01T17:27:19Z) - CLUES: Few-Shot Learning Evaluation in Natural Language Understanding [81.63968985419982]
我々は,NLUモデルの少数ショット学習能力を評価するためのベンチマークであるCLUESを紹介する。
近年のモデルでは,大量のラベル付きデータにアクセスすると人的パフォーマンスが向上するが,ほとんどのタスクにおいて数ショット設定では,パフォーマンスに大きなギャップが生じることが実証された。
論文 参考訳（メタデータ） (2021-11-04T00:43:15Z) - Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。
現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。
グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
論文 参考訳（メタデータ） (2021-10-15T14:36:45Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳（メタデータ） (2021-03-30T15:24:37Z) - FewJoint: A Few-shot Learning Benchmark for Joint Language Understanding [55.38905499274026]
機械学習は、機械学習における重要なステップの1つだ。
FewJointは、NLP用のFew-Shot Learningベンチマークである。
論文 参考訳（メタデータ） (2020-09-17T08:17:12Z) - Chatbot: A Conversational Agent employed with Named Entity Recognition
Model using Artificial Neural Network [0.0]
自然言語理解(NLU)はディープラーニングによって著しく改善されている。
本研究では、データセットのNLUサービスに統合可能な名前付きエンティティ認識(NER)モデルに焦点を当てる。
提案アーキテクチャのNERモデルは、手動で作成したエンティティに基づいてトレーニングされた人工ニューラルネットワークに基づいている。
論文 参考訳（メタデータ） (2020-06-19T14:47:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。