論文の概要: SYNERGY: Building Task Bots at Scale Using Symbolic Knowledge and
Machine Teaching
- arxiv url: http://arxiv.org/abs/2110.11514v1
- Date: Thu, 21 Oct 2021 23:13:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 02:50:42.602192
- Title: SYNERGY: Building Task Bots at Scale Using Symbolic Knowledge and
Machine Teaching
- Title(参考訳): SynERGY:シンボリック知識と機械教育を用いた大規模タスクボットの構築
- Authors: Baolin Peng, Chunyuan Li, Zhu Zhang, Jinchao Li, Chenguang Zhu,
Jianfeng Gao
- Abstract要約: SynERGYは、タスクボットを2つのステップで開発するハイブリッド学習フレームワークである。
トレーニング済みのニューラルダイアログモデルであるSOLOISTは、シミュレーションダイアログ上で微調整され、タスクのためのボットを構築する。
微調整されたニューラルダイアログモデルは、機械教育を通じて、いくつかの実際のタスク固有のダイアログによって継続的に洗練される。
- 参考スコア(独自算出の注目度): 75.87418236410296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper we explore the use of symbolic knowledge and machine teaching
to reduce human data labeling efforts in building neural task bots. We propose
SYNERGY, a hybrid learning framework where a task bot is developed in two
steps: (i) Symbolic knowledge to neural networks: Large amounts of simulated
dialog sessions are generated based on task-specific symbolic knowledge which
is represented as a task schema consisting of dialog flows and task-oriented
databases. Then a pre-trained neural dialog model, SOLOIST, is fine-tuned on
the simulated dialogs to build a bot for the task. (ii) Neural learning: The
fine-tuned neural dialog model is continually refined with a handful of real
task-specific dialogs via machine teaching, where training samples are
generated by human teachers interacting with the task bot. We validate SYNERGY
on four dialog tasks. Experimental results show that SYNERGY maps task-specific
knowledge into neural dialog models achieving greater diversity and coverage of
dialog flows, and continually improves model performance with machine teaching,
thus demonstrating strong synergistic effects of symbolic knowledge and machine
teaching.
- Abstract(参考訳): 本稿では,ニューラルタスクボット構築における人間のデータラベリングの取り組みを軽減するために,記号的知識と機械教育の利用について検討する。
タスクボットを2つのステップで開発するハイブリッド学習フレームワークであるSynERGYを提案する。
i) ニューラルネットワークへのシンボリック知識: 多数のシミュレーションされたダイアログセッションは、ダイアログフローとタスク指向データベースからなるタスクスキーマとして表現されるタスク固有のシンボリック知識に基づいて生成される。
次に、トレーニング済みのニューラルダイアログモデルであるSOLOISTをシミュレーションダイアログ上で微調整し、タスクのためのボットを構築する。
(ii)ニューラルラーニング: 微調整されたニューラルダイアログモデルは、タスクボットと対話する人間の教師によってトレーニングサンプルが生成される機械教育を通じて、いくつかの実際のタスク固有のダイアログで継続的に洗練されます。
4つのダイアログタスクでシナジーを検証する。
実験の結果,SynerGYはタスク固有の知識を,より多様性とダイアログフローのカバレッジを達成するニューラルダイアログモデルにマッピングし,機械教育によるモデル性能を継続的に改善し,記号的知識と機械教育の強い相乗効果を示す。
関連論文リスト
- KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。
本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
論文 参考訳(メタデータ) (2022-05-11T16:01:03Z) - Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。
現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。
グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
論文 参考訳(メタデータ) (2021-10-15T14:36:45Z) - Every time I fire a conversational designer, the performance of the
dialog system goes down [0.07696728525672149]
本稿では,会話設計者のドメイン知識の明示的利用が,ニューラルベース対話システムの性能に与える影響について検討する。
半論理規則で明示的な知識を符号化した対話型論理帰納型ニューラルネットシステム(CLINN)を提案する。
論文 参考訳(メタデータ) (2021-09-27T13:05:31Z) - Reasoning in Dialog: Improving Response Generation by Context Reading
Comprehension [49.92173751203827]
マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。
読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
論文 参考訳(メタデータ) (2020-12-14T10:58:01Z) - On Task-Level Dialogue Composition of Generative Transformer Model [9.751234480029765]
本研究では,トランスフォーマー生成モデルにおけるヒューマン・ヒューマン・タスク指向対話の学習効果について検討した。
そこで本研究では,(1)人間と人間による単一タスク対話から学習のための複合タスク対話データを作成すること,(2)補助的損失を用いてエンコーダ表現を単一タスク対話に不変にすること,の2つの方法を提案する。
論文 参考訳(メタデータ) (2020-10-09T22:10:03Z) - SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine
Teaching [81.45928589522032]
トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。
タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。
実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
論文 参考訳(メタデータ) (2020-05-11T17:58:34Z) - TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented
Dialogue [113.45485470103762]
本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。
事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
論文 参考訳(メタデータ) (2020-04-15T04:09:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。