論文の概要: Few-Shot Bot: Prompt-Based Learning for Dialogue Systems

• arxiv url: http://arxiv.org/abs/2110.08118v1
• Date: Fri, 15 Oct 2021 14:36:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-18 17:15:56.251956
• Title: Few-Shot Bot: Prompt-Based Learning for Dialogue Systems
• Title（参考訳）: few-shot bot:対話システムのためのプロンプトベースの学習
• Authors: Andrea Madotto, Zhaojiang Lin, Genta Indra Winata, Pascale Fung
• Abstract要約: ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。 現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。 グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
• 参考スコア（独自算出の注目度）: 58.27337673451943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning to converse using only a few examples is a great challenge in conversational AI. The current best conversational models, which are either good chit-chatters (e.g., BlenderBot) or goal-oriented systems (e.g., MinTL), are language models (LMs) fine-tuned on large conversational datasets. Training these models is expensive, both in terms of computational resources and time, and it is hard to keep them up to date with new conversational skills. A simple yet unexplored solution is prompt-based few-shot learning (Brown et al. 2020) which does not require gradient-based fine-tuning but instead uses a few examples in the LM context as the only source of learning. In this paper, we explore prompt-based few-shot learning in dialogue tasks. We benchmark LMs of different sizes in nine response generation tasks, which include four knowledge-grounded tasks, a task-oriented generations task, three open-chat tasks, and controlled stylistic generation, and five conversational parsing tasks, which include dialogue state tracking, graph path generation, persona information extraction, document retrieval, and internet query generation. The current largest released LM (GPT-J-6B) using prompt-based few-shot learning, and thus requiring no training, achieves competitive performance to fully trained state-of-the-art models. Moreover, we propose a novel prompt-based few-shot classifier, that also does not require any fine-tuning, to select the most appropriate prompt given a dialogue history. Finally, by combining the power of prompt-based few-shot learning and a Skill Selector, we create an end-to-end chatbot named the Few-Shot Bot (FSB), which automatically selects the most appropriate conversational skill, queries different knowledge bases or the internet, and uses the retrieved knowledge to generate a human-like response, all using only few dialogue examples per skill.
• Abstract（参考訳）: 少数の例を使って会話を学ぶことは、会話型AIにおいて大きな課題である。 現在の最も優れた会話モデル(例えばblenderbot)や目標指向システム(例えばmintl)は、大きな会話データセットで微調整された言語モデル(lms)である。 これらのモデルのトレーニングは、計算資源と時間の両方の観点から高価であり、新しい会話スキルでそれらを最新に保つのは難しい。 単純だが探索されていないソリューションは、プロンプトベースの少ショットラーニング(Brown et al. 2020)であり、グラデーションベースの微調整を必要としない代わりに、LMコンテキストのいくつかの例を学習の唯一の源として使っている。 本稿では,対話タスクにおけるプロンプトベースマイトショット学習について検討する。 我々は,9つの応答生成タスクにおいて,4つの知識基底タスク,タスク指向世代タスク,3つのオープンチャットタスク,制御されたスタイル生成,対話状態追跡,グラフパス生成,ペルソナ情報抽出,文書検索,インターネットクエリ生成の5つの対話解析タスクを含む,異なるサイズのLMをベンチマークする。 現在の最大のLM(GPT-J-6B)は、プロンプトベースの少数ショット学習を使用し、訓練を必要とせず、完全に訓練された最先端モデルに対する競争性能を達成する。 さらに,対話履歴に与えられた最も適切なプロンプトを選択するために,微調整を必要としない新しいプロンプトベースのマイトショット分類器を提案する。 最後に、プロンプトベースの少数ショット学習とスキルセレクタを組み合わせることで、最も適切な会話スキルを自動的に選択し、異なる知識ベースやインターネットにクエリし、検索された知識を使用して人間的な応答を生成し、スキル毎に少数の対話例のみを使用して、エンドツーエンドのチャットボットであるnone-shot bot(fsb)を作成します。

関連論文リスト

• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Adapting Task-Oriented Dialogue Models for Email Conversations [4.45709593827781]
  本稿では,対話モデルの最新開発を長文会話に適用できる効果的な伝達学習フレームワーク(EMToD)を提案する。 提案するEMToDフレームワークは,事前学習した言語モデルに対する意図検出性能を45%向上し,タスク指向の電子メール会話において,事前学習した対話モデルに対する意図検出性能を30%向上することを示す。
  論文  参考訳（メタデータ） (2022-08-19T16:41:34Z)
• KETOD: Knowledge-Enriched Task-Oriented Dialogue [77.59814785157877]
  対話システム研究における既存の研究は、主にタスク指向の対話とチャットを独立したドメインとして扱う。 本研究では,タスク指向対話と知識ベースチップチャットを一つのモデルに効果的に統合する方法について検討する。
  論文  参考訳（メタデータ） (2022-05-11T16:01:03Z)
• Proactive Retrieval-based Chatbots based on Relevant Knowledge and Goals [28.530853447203434]
  プロアクティブ対話システムは、会話を積極的にリードする能力を有する。 対話におけるスムーズで自然な遷移を可能にするためには、背景知識が不可欠である。 本稿では,検索に基づく知識ベースプロアクティブ対話のためのマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-18T00:27:31Z)
• The Adapter-Bot: All-In-One Controllable Conversational Model [66.48164003532484]
  本稿では、DialGPTなどの固定バックボーンモデルを用いて、異なるアダプタを介してオンデマンド対話スキルをトリガーする対話モデルを提案する。 スキルに応じて、モデルはテキスト、テーブル、強調応答などの複数の知識タイプを処理できる。 我々は,既存の会話モデルと比較し,自動評価を用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-08-28T10:59:31Z)
• Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
  タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。 研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。 我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
  論文  参考訳（メタデータ） (2020-08-14T08:23:21Z)
• SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching [81.45928589522032]
  トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。 タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。 実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
  論文  参考訳（メタデータ） (2020-05-11T17:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。