論文の概要: SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching

• arxiv url: http://arxiv.org/abs/2005.05298v4
• Date: Fri, 9 Apr 2021 03:14:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-04 19:17:20.163657
• Title: SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching
• Title（参考訳）: soloist: 転校学習と機械学習による大規模タスクボットの構築
• Authors: Baolin Peng and Chunyuan Li and Jinchao Li and Shahin Shayandeh and Lars Liden and Jianfeng Gao
• Abstract要約: トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。 タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。 実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
• 参考スコア（独自算出の注目度）: 81.45928589522032
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a new method SOLOIST that uses transfer learning and machine teaching to build task bots at scale. We parameterize classical modular task-oriented dialog systems using a Transformer-based auto-regressive language model, which subsumes different dialog modules into a single neural model. We pre-train, on heterogeneous dialog corpora, a task-grounded response generation model, which can generate dialog responses grounded in user goals and real-world knowledge for task completion. The pre-trained model can be efficiently adapted to accomplish new tasks with a handful of task-specific dialogs via machine teaching, where training samples are generated by human teachers interacting with the system. Experiments show that (i) SOLOIST creates new state-of-the-art on well-studied task-oriented dialog benchmarks, including CamRest676 and MultiWOZ; (ii) in the few-shot fine-tuning settings, SOLOIST significantly outperforms existing methods, and (iii) the use of machine teaching substantially reduces the labeling cost of fine-tuning. The pre-trained models and codes are available at https://aka.ms/soloist.
• Abstract（参考訳）: 本稿では,トランスファー学習と機械学習を用いてタスクボットを大規模に構築する新しい方法を提案する。 従来のモジュール型タスク指向ダイアログシステムを,トランスフォーマティブに基づく自己回帰型言語モデルを用いてパラメータ化する。 我々は,タスク完了のためのユーザ目標と実世界の知識に基づく対話応答を生成するタスク基底応答生成モデルであるヘテロジニアスダイアログコーパスを事前学習する。 事前学習されたモデルは、システムと対話する人間の教師によってトレーニングサンプルが生成される機械教育を通じて、いくつかのタスク固有のダイアログで新しいタスクを効率的に達成するために適応することができる。 実験によると (i) SOLOISTは、CamRest676やMultiWOZなど、よく研究されているタスク指向のダイアログのベンチマークを新たに作成する。 (ii)数ショットの微調整設定では、SOLOISTは既存のメソッドよりも大幅に優れており、 (iii)機械教示の使用は、微調整のラベリングコストを大幅に削減する。 事前訓練されたモデルとコードはhttps://aka.ms/soloist.comで入手できる。

関連論文リスト

• Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System [0.0]
  本稿では,タスク毎に個別に学習し,事前学習したネットワークの固定層に少数のパラメータを追加するタスク・ド・アダプタを用いたエンドツーエンドTODシステムを提案する。 提案手法はモデルに依存しない手法であり,プロンプトを使わずに入力データのみをプロンプトチューニングする必要がない。
  論文  参考訳（メタデータ） (2023-05-04T00:17:49Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• SYNERGY: Building Task Bots at Scale Using Symbolic Knowledge and Machine Teaching [75.87418236410296]
  SynERGYは、タスクボットを2つのステップで開発するハイブリッド学習フレームワークである。 トレーニング済みのニューラルダイアログモデルであるSOLOISTは、シミュレーションダイアログ上で微調整され、タスクのためのボットを構築する。 微調整されたニューラルダイアログモデルは、機械教育を通じて、いくつかの実際のタスク固有のダイアログによって継続的に洗練される。
  論文  参考訳（メタデータ） (2021-10-21T23:13:04Z)
• Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
  ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。 現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。 グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
  論文  参考訳（メタデータ） (2021-10-15T14:36:45Z)
• Self-training Improves Pre-training for Few-shot Learning in Task-oriented Dialog Systems [47.937191088981436]
  大規模事前訓練型言語モデルでは、ToDで数発の学習を行う上で有望な結果が示されている。 本稿では,より強力な学生モデルを訓練するために,最も自信のないラベル付きデータを反復的にラベル付けする自己学習手法を提案する。 目的分類,ダイアログ状態追跡,ダイアログアクト予測,応答選択など,ToDの4つの下流タスクに関する実験と分析を行った。
  論文  参考訳（メタデータ） (2021-08-28T07:22:06Z)
• On Task-Level Dialogue Composition of Generative Transformer Model [9.751234480029765]
  本研究では,トランスフォーマー生成モデルにおけるヒューマン・ヒューマン・タスク指向対話の学習効果について検討した。 そこで本研究では,(1)人間と人間による単一タスク対話から学習のための複合タスク対話データを作成すること,(2)補助的損失を用いてエンコーダ表現を単一タスク対話に不変にすること,の2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-10-09T22:10:03Z)
• MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems [75.43457658815943]
  タスク指向対話システムのシステム設計プロセスを簡単にするミニマリスト変換学習(MinTL)を提案する。 MinTLはシンプルだが効果的な転送学習フレームワークであり、事前訓練されたSeq2seqモデルのプラグインと再生を可能にする。 トレーニング済みの2つのバックボーン(T5とBART)で学習フレームワークをインスタンス化し、MultiWOZで評価する。
  論文  参考訳（メタデータ） (2020-09-25T02:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。