論文の概要: BotSIM: An End-to-End Bot Simulation Framework for Commercial
Task-Oriented Dialog Systems
- arxiv url: http://arxiv.org/abs/2211.11982v1
- Date: Tue, 22 Nov 2022 03:34:36 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 17:36:12.087980
- Title: BotSIM: An End-to-End Bot Simulation Framework for Commercial
Task-Oriented Dialog Systems
- Title（参考訳）: botsim:商用タスク指向対話システムのためのエンドツーエンドボットシミュレーションフレームワーク
- Authors: Guangsen Wang, Samson Tan, Shafiq Joty, Gang Wu, Jimmy Au, Steven Hoi
- Abstract要約: BotSIMは、テキストベースのタスク指向ダイアログシステムのための、データ効率のよいエンドツーエンドBot SIMulationツールキットである。
エンドツーエンド評価,修復,多言語対話生成におけるBotSIMの有効性を実証する。
- 参考スコア（独自算出の注目度）: 13.855355078389602
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present BotSIM, a data-efficient end-to-end Bot SIMulation toolkit for
commercial text-based task-oriented dialog (TOD) systems. BotSIM consists of
three major components: 1) a Generator that can infer semantic-level dialog
acts and entities from bot definitions and generate user queries via
model-based paraphrasing; 2) an agenda-based dialog user Simulator (ABUS) to
simulate conversations with the dialog agents; 3) a Remediator to analyze the
simulated conversations, visualize the bot health reports and provide
actionable remediation suggestions for bot troubleshooting and improvement. We
demonstrate BotSIM's effectiveness in end-to-end evaluation, remediation and
multi-intent dialog generation via case studies on two commercial bot
platforms. BotSIM's "generation-simulation-remediation" paradigm accelerates
the end-to-end bot evaluation and iteration process by: 1) reducing manual test
cases creation efforts; 2) enabling a holistic gauge of the bot in terms of NLU
and end-to-end performance via extensive dialog simulation; 3) improving the
bot troubleshooting process with actionable suggestions. A demo of our system
can be found at https://tinyurl.com/mryu74cd and a demo video at
https://youtu.be/qLi5iSoly30.
- Abstract（参考訳）: 商用テキストベースタスク指向対話(TOD)システムのためのデータ効率のよいエンドツーエンドボットシミュレーションツールキットBotSIMを提案する。
BotSIMは3つの主要コンポーネントから構成される。
1) 意味レベルのダイアログをボット定義から推論し,モデルに基づく言い換えを通じてユーザクエリを生成することができるジェネレータ
2) 対話エージェントとの会話をシミュレートするアジェンダベースの対話ユーザシミュレータ(ABUS)
3)シミュレーションされた会話を分析し、ボットの健康状況を可視化し、ボットのトラブルシューティングと改善のための実行可能な修復提案を提供する。
2つの商用ボットプラットフォームにおけるケーススタディを通じて、エンドツーエンド評価、修復、マルチインテントダイアログ生成におけるbotsimの有効性を実証する。
BotSIMの"ジェネレーション・シミュレーション・リメディエーション"パラダイムは、エンド・ツー・エンドのボット評価とイテレーションプロセスを促進する。
1) 手動テストケース作成努力の削減
2) 広範囲なダイアログシミュレーションにより,NLUおよびエンドツーエンドのパフォーマンスの観点から,ボットの総合的なゲージを可能にする。
3)アクション可能な提案によるボットトラブルシューティングプロセスの改善。
システムのデモはhttps://tinyurl.com/mryu74cdとhttps://youtu.be/qli5isoly30のデモビデオで見ることができる。
関連論文リスト
- Self-Directed Turing Test for Large Language Models [56.64615470513102]
チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。
従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。
本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
論文 参考訳（メタデータ） (2024-08-19T09:57:28Z) - Multimodal Contextual Dialogue Breakdown Detection for Conversational AI Models [1.4199474167684119]
マルチモーダルな文脈対話ブレークダウン(MultConDB)モデルを導入する。
このモデルは、69.27のF1を達成することで、他の既知の最高のモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2024-04-11T23:09:18Z) - BotSIM: An End-to-End Bot Simulation Toolkit for Commercial
Task-Oriented Dialog Systems [14.158300527007277]
BotSIMは、商用タスク指向対話システムの大規模データ効率評価、診断、修復のためのワンストップソリューションである。
インフラストラクチャ層はBotSIMの主要な機能をサポートするための重要なモデルとコンポーネントをホストしている。
アダプタ層は、新しいボットプラットフォームに対応するためにBotSIMを拡張するために使用される。
アプリケーション・レイヤは一連のコマンドライン・ツールとWebアプリケーションを提供し、BotSIMユーザーの参入障壁を大幅に減らします。
論文 参考訳（メタデータ） (2022-11-29T04:13:25Z) - Controllable Dialogue Simulation with In-Context Learning [39.04491297557292]
textscDialogicは、大規模言語モデルに基づく対話シミュレーション手法である。
本手法は,人間の関与を最小あるいはゼロに抑えながら,少数の対話データを迅速に拡張することができる。
我々のシミュレートされた対話は、ほぼ人間に近い流速とアノテーションの精度を持つ。
論文 参考訳（メタデータ） (2022-10-09T06:32:58Z) - Metaphorical User Simulators for Evaluating Task-oriented Dialogue
Systems [80.77917437785773]
タスク指向対話システム(TDS)は、主にオフラインまたは人間による評価によって評価される。
本稿では,エンド・ツー・エンドのTDS評価のためのメタファ型ユーザシミュレータを提案する。
また,異なる機能を持つ対話システムなどの変種を生成するためのテスタベースの評価フレームワークを提案する。
論文 参考訳（メタデータ） (2022-04-02T05:11:03Z) - An Approach to Inference-Driven Dialogue Management within a Social
Chatbot [10.760026478889667]
会話を一連の応答生成タスクとしてフレーミングする代わりに、会話を協調推論プロセスとしてモデル化する。
私たちのパイプラインは、このモデリングを3つの幅広い段階で達成します。
このアプローチは、ユーザ入力の潜在意味論、フレキシブルなイニシアティブの取り方、対話コンテキストに新しく一貫性のある応答を理解するのに役立ちます。
論文 参考訳（メタデータ） (2021-10-31T19:01:07Z) - SYNERGY: Building Task Bots at Scale Using Symbolic Knowledge and
Machine Teaching [75.87418236410296]
SynERGYは、タスクボットを2つのステップで開発するハイブリッド学習フレームワークである。
トレーニング済みのニューラルダイアログモデルであるSOLOISTは、シミュレーションダイアログ上で微調整され、タスクのためのボットを構築する。
微調整されたニューラルダイアログモデルは、機械教育を通じて、いくつかの実際のタスク固有のダイアログによって継続的に洗練される。
論文 参考訳（メタデータ） (2021-10-21T23:13:04Z) - Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。
現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。
グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
論文 参考訳（メタデータ） (2021-10-15T14:36:45Z) - Spot The Bot: A Robust and Efficient Framework for the Evaluation of
Conversational Dialogue Systems [21.36935947626793]
emphSpot ボットは人間とボットの会話をボット間の会話に置き換える。
人間の判断は、それが人間であるかどうかに関わらず、会話において各実体に注釈を付けるだけである。
emphSurvival Analysisは、人間のような行動を最も長く維持できるボットを計測する。
論文 参考訳（メタデータ） (2020-10-05T16:37:52Z) - SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine
Teaching [81.45928589522032]
トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。
タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。
実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
論文 参考訳（メタデータ） (2020-05-11T17:58:34Z) - Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward
Decomposition [64.06167416127386]
本稿では,システムとユーザの両方をダイアログエージェントとみなすマルチエージェントダイアログポリシー学習を提案する。
2人のエージェントが互いに相互作用し、同時に一緒に学習されます。
その結果,本手法がシステムポリシとユーザポリシを同時に構築できることが示唆された。
論文 参考訳（メタデータ） (2020-04-08T04:51:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。