論文の概要: A Financial Service Chatbot based on Deep Bidirectional Transformers
- arxiv url: http://arxiv.org/abs/2003.04987v1
- Date: Mon, 17 Feb 2020 18:48:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-31 11:41:44.169702
- Title: A Financial Service Chatbot based on Deep Bidirectional Transformers
- Title（参考訳）: 双方向トランスフォーマーを用いた金融サービスチャットボット
- Authors: Shi Yu, Yuxin Chen, Hussain Zaidi
- Abstract要約: 私たちは、金融投資顧客サービスにおけるクライアントの質問を処理するために、Deep Bidirectional Transformer Model (BERT)を使用します。
ボットは381の意図を認識し、いつ「私は知らない」と言うかを決め、人間オペレーターに無関係で不確実な質問をエスカレートする。
もうひとつの新しい貢献は、自動スペル訂正における言語モデルとしてのBERTの使用である。
- 参考スコア（独自算出の注目度）: 17.779997116217363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We develop a chatbot using Deep Bidirectional Transformer models (BERT) to
handle client questions in financial investment customer service. The bot can
recognize 381 intents, and decides when to say "I don't know" and escalates
irrelevant/uncertain questions to human operators. Our main novel contribution
is the discussion about uncertainty measure for BERT, where three different
approaches are systematically compared on real problems. We investigated two
uncertainty metrics, information entropy and variance of dropout sampling in
BERT, followed by mixed-integer programming to optimize decision thresholds.
Another novel contribution is the usage of BERT as a language model in
automatic spelling correction. Inputs with accidental spelling errors can
significantly decrease intent classification performance. The proposed approach
combines probabilities from masked language model and word edit distances to
find the best corrections for misspelled words. The chatbot and the entire
conversational AI system are developed using open-source tools, and deployed
within our company's intranet. The proposed approach can be useful for
industries seeking similar in-house solutions in their specific business
domains. We share all our code and a sample chatbot built on a public dataset
on Github.
- Abstract（参考訳）: 本研究では,Deep Bidirectional Transformer Model (BERT) を用いて,金融投資顧客サービスにおけるクライアント質問を処理するチャットボットを開発した。
ボットは381の意図を認識し、いつ「知らない」と言うかを決め、人間オペレーターに無関係で確実な質問をエスカレートする。
本研究の主な貢献は,実問題に対して3つの異なるアプローチを体系的に比較するBERTの不確実性対策に関する議論である。
BERTにおける情報エントロピーとドロップアウトサンプリングのばらつきと,決定しきい値の最適化のための混合整数プログラミングの2つの不確実性指標について検討した。
もうひとつの新しい貢献は、自動スペル訂正における言語モデルとしてのBERTの使用である。
偶発的スペルエラーによる入力は意図分類性能を著しく低下させる可能性がある。
提案手法は, マスキング言語モデルと単語編集距離の確率を組み合わせることで, ミススペル語に対する最善の補正を求める。
チャットボットと会話型AIシステムは、オープンソースツールを使用して開発され、当社のイントラネットにデプロイされます。
提案されたアプローチは、特定のビジネスドメインで同様の社内ソリューションを求める業界に有用である。
すべてのコードと、Githubの公開データセット上に構築されたサンプルチャットボットを共有しています。
関連論文リスト
- Automatically generating decision-support chatbots based on DMN models [0.0]
そこで本研究では,DNM決定モデルに基づく,完全機能的で使いやすい意思決定支援チャットボットの自動生成手法を提案する。
チャットボットの開発時間を短縮し、ドメイン固有のチャットボットの開発を可能にすることを目的として、Demabotツールで必要なフェーズをすべて実装した。
論文 参考訳（メタデータ） (2024-05-15T18:13:09Z) - Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。
本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。
我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。
そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
論文 参考訳（メタデータ） (2024-02-13T20:10:29Z) - Deep Learning Based Amharic Chatbot for FAQs in Universities [0.0]
本稿では,アムハラ語の質問(FAQ)に頻繁に答えるモデルを提案する。
提案プログラムでは, トークン化, 停止語除去, ステーミングを用いて, アムハラ語入力文の分析と分類を行う。
このモデルはFacebook Messengerに統合され、Herokuサーバに24時間のアクセシビリティとしてデプロイされた。
論文 参考訳（メタデータ） (2024-01-26T18:37:21Z) - Retrieval and Generative Approaches for a Pregnancy Chatbot in Nepali
with Stemmed and Non-Stemmed Data : A Comparative Study [0.0]
ネパール語のデータセットのパフォーマンスは、それぞれのアプローチで分析されている。
BERTをベースとした事前学習モデルでは,スクラッチトランスフォーマーモデルではスクラッチデータの性能が良好である。
論文 参考訳（メタデータ） (2023-11-12T17:16:46Z) - One System to Rule them All: a Universal Intent Recognition System for
Customer Service Chatbots [0.0]
普遍的意図認識システムの開発を提案する。
28種類のチャットボットに共通する11のインテントの中から選択したグループを認識するように訓練されている。
提案システムは、それらの普遍的な意図を80.4%の精度で識別することができる。
論文 参考訳（メタデータ） (2021-12-15T16:45:55Z) - Error Detection in Large-Scale Natural Language Understanding Systems
Using Transformer Models [0.0]
Alexa、Siri、Cortana、Google Assistantといった大規模な会話アシスタントは、ドメイン、インテント、名前付きエンティティ認識の複数のモデルを使用して、発話毎に処理する。
オフラインのTransformerモデルを用いて、ドメイン分類エラーを検出する。
そこで我々は,RoBERTaモデルから生成した発話エンコーディングと生産システムのNbest仮説を組み合わせた。
論文 参考訳（メタデータ） (2021-09-04T00:10:48Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-09T10:55:27Z) - Conditioned Text Generation with Transfer for Closed-Domain Dialogue
Systems [65.48663492703557]
条件付き変分オートエンコーダを用いて,意図特化文の生成を最適に学習し,制御する方法を示す。
クエリ転送と呼ばれる新しいプロトコルを導入し、大規模で遅延のないデータセットを活用できるようにします。
論文 参考訳（メタデータ） (2020-11-03T14:06:10Z) - Detection of Novel Social Bots by Ensembles of Specialized Classifiers [60.63582690037839]
悪意ある俳優は、社会ボットとして知られるアルゴリズムによって部分的に制御される不正なソーシャルメディアアカウントを作成し、誤情報を広め、オンラインでの議論を扇動する。
異なるタイプのボットが、異なる行動特徴によって特徴づけられることを示す。
本稿では,ボットのクラスごとに専門的な分類器を訓練し,それらの決定を最大ルールで組み合わせる,教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2020-06-11T22:59:59Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳（メタデータ） (2020-05-12T11:01:44Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳（メタデータ） (2020-04-16T04:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。