論文の概要: Controllable Generation of Dialogue Acts for Dialogue Systems via Few-Shot Response Generation and Ranking

• arxiv url: http://arxiv.org/abs/2307.14440v1
• Date: Wed, 26 Jul 2023 18:16:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-28 16:47:06.582279
• Title: Controllable Generation of Dialogue Acts for Dialogue Systems via Few-Shot Response Generation and Ranking
• Title（参考訳）: ファウショット応答生成とランク付けによる対話システムのための対話法の制御可能生成
• Authors: Angela Ramirez and Karik Agarwal and Juraj Juraska and Utkarsh Garg and Marilyn A. Walker
• Abstract要約: 対話システムは,多種類の対話行動(DA)を高い意味的忠実度で実現する応答を生成する必要がある。 最近の研究は、事前学習された言語モデル(LLM)が、制御可能な自然言語生成器(NLG)に新たな可能性をもたらすことを示している。 ここでは、DAの制御された生成を実現するために、新しい数発のオーバージェネレーション・アンド・ランクのアプローチを開発する。
• 参考スコア（独自算出の注目度）: 5.294303942310109
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dialogue systems need to produce responses that realize multiple types of dialogue acts (DAs) with high semantic fidelity. In the past, natural language generators (NLGs) for dialogue were trained on large parallel corpora that map from a domain-specific DA and its semantic attributes to an output utterance. Recent work shows that pretrained language models (LLMs) offer new possibilities for controllable NLG using prompt-based learning. Here we develop a novel few-shot overgenerate-and-rank approach that achieves the controlled generation of DAs. We compare eight few-shot prompt styles that include a novel method of generating from textual pseudo-references using a textual style transfer approach. We develop six automatic ranking functions that identify outputs with both the correct DA and high semantic accuracy at generation time. We test our approach on three domains and four LLMs. To our knowledge, this is the first work on NLG for dialogue that automatically ranks outputs using both DA and attribute accuracy. For completeness, we compare our results to fine-tuned few-shot models trained with 5 to 100 instances per DA. Our results show that several prompt settings achieve perfect DA accuracy, and near perfect semantic accuracy (99.81%) and perform better than few-shot fine-tuning.
• Abstract（参考訳）: 対話システムは,多種類の対話行動(DA)を実現するための応答を生成する必要がある。 これまで,対話用自然言語生成器(NLG)は,ドメイン固有DAとその意味的属性を出力発話にマッピングする大規模並列コーパスで訓練されていた。 最近の研究は、事前学習言語モデル(LLM)が、プロンプトベース学習を用いた制御可能なNLGに新たな可能性をもたらすことを示している。 ここでは、DAの制御された生成を実現するために、新しい数発のオーバージェネレーション・アンド・ランクアプローチを開発する。 テキストスタイル転送手法を用いて,テキストの擬似参照から新たに生成する手法を含む8つの小ショットプロンプトスタイルを比較した。 生成時に正しいDAと高い意味的精度の両方で出力を識別する6つの自動ランキング関数を開発する。 3つのドメインと4つのLSMでアプローチをテストする。 我々の知る限り、DAと属性の精度の両方を用いてアウトプットを自動的にランク付けする対話用NLGに関する最初の研究である。 完全性については、DA毎に5から100のインスタンスでトレーニングされた微調整された数ショットモデルと比較する。 その結果,いくつかのプロンプト設定が完全なDA精度を実現し,ほぼ完全な意味的精度(99.81%)を実現し,数発の微調整よりも優れた性能を示した。

関連論文リスト

• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
  DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-20T06:21:21Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection [36.77204909711832]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから,対話ポリシーを明示的に学習する,事前学習型ダイアログモデルを提案する。 具体的には、事前学習中にポリシー最適化のためのダイアログアクト予測タスクを導入し、一貫性の規則化項を用いて、学習した表現を洗練させる。 その結果,GALAXYはタスク指向対話システムの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T15:24:36Z)
• Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
  ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。 現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。 グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
  論文  参考訳（メタデータ） (2021-10-15T14:36:45Z)
• Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System [26.837972034630003]
  PPTODはタスク指向対話のための統一的なプラグアンドプレイモデルである。 エンド・ツー・エンドの対話モデル、対話状態追跡、意図分類を含む3つのベンチマークTODタスクにおいて、我々のモデルを広範囲にテストする。
  論文  参考訳（メタデータ） (2021-09-29T22:02:18Z)
• Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
  本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。 提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。 本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
  論文  参考訳（メタデータ） (2020-04-29T11:02:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。