論文の概要: Context Matters in Semantically Controlled Language Generation for
Task-oriented Dialogue Systems
- arxiv url: http://arxiv.org/abs/2111.14119v1
- Date: Sun, 28 Nov 2021 11:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-30 16:25:09.912446
- Title: Context Matters in Semantically Controlled Language Generation for
Task-oriented Dialogue Systems
- Title（参考訳）: タスク指向対話システムにおける意味制御言語生成における文脈事項
- Authors: Ye Liu, Wolfgang Maier, Wolfgang Minker and Stefan Ultes
- Abstract要約: 本研究は,タスク指向対話における文脈言語生成を実現するために,事前学習モデルによって符号化された対話履歴情報と,現在のシステム発話の意味表現とを組み合わせる。
我々は、事前学習されたマルチコンテキスト・コンベRTモデルを、スクラッチから訓練されたモデルにおける文脈表現に利用し、事前学習されたGPT-2から適応したモデルにおいて、直前のユーザ発話を文脈生成に活用する。
- 参考スコア（独自算出の注目度）: 6.1478669848771546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work combines information about the dialogue history encoded by
pre-trained model with a meaning representation of the current system utterance
to realize contextual language generation in task-oriented dialogues. We
utilize the pre-trained multi-context ConveRT model for context representation
in a model trained from scratch; and leverage the immediate preceding user
utterance for context generation in a model adapted from the pre-trained GPT-2.
Both experiments with the MultiWOZ dataset show that contextual information
encoded by pre-trained model improves the performance of response generation
both in automatic metrics and human evaluation. Our presented contextual
generator enables higher variety of generated responses that fit better to the
ongoing dialogue. Analysing the context size shows that longer context does not
automatically lead to better performance, but the immediate preceding user
utterance plays an essential role for contextual generation. In addition, we
also propose a re-ranker for the GPT-based generation model. The experiments
show that the response selected by the re-ranker has a significant improvement
on automatic metrics.
- Abstract（参考訳）: 本研究は,事前学習モデルで符号化された対話履歴情報と,現在のシステム発話の意味表現を組み合わせることで,タスク指向対話における文脈言語生成を実現する。
我々は,スクラッチから学習したモデルにおけるコンテキスト表現に事前学習されたマルチコンテキスト変換モデルを用い,事前学習したgpt-2から適応したモデルにおいて,先行するユーザ発話をコンテキスト生成に活用する。
MultiWOZデータセットによる両方の実験は、事前訓練されたモデルによって符号化された文脈情報が、自動メトリクスと人的評価の両方において応答生成の性能を改善することを示している。
提案した文脈生成器は,現在進行中の対話に適合するより多様な応答を生成できる。
コンテキストサイズを分析すると、長いコンテキストは自動的にパフォーマンスを改善するわけではないが、直近のユーザ発話はコンテキスト生成に不可欠な役割を果たす。
また,GPTに基づく生成モデルに対する再ランカを提案する。
実験の結果,リランカが選択した応答は自動測定値に大きく改善されていることがわかった。
関連論文リスト
- Promoting Open-domain Dialogue Generation through Learning Pattern
Information between Contexts and Responses [5.936682548344234]
本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。
また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
論文 参考訳（メタデータ） (2023-09-06T08:11:39Z) - RECAP: Retrieval-Enhanced Context-Aware Prefix Encoder for Personalized
Dialogue Response Generation [30.245143345565758]
パーソナライズされた応答生成のための検索強化手法を提案する。
対話ドメインデータに基づいて訓練された階層型トランスフォーマーを設計し、パーソナライズされた検索を行うとともに、検索した情報をデコーダに効率的に融合するコンテキスト対応プレフィックスエンコーダを設計する。
人的および自動メトリクスの組でモデルの性能を定量的に評価し、英語のReddit会話における最先端のベースラインよりも優れていると判断した。
論文 参考訳（メタデータ） (2023-06-12T16:10:21Z) - The Whole Truth and Nothing But the Truth: Faithful and Controllable
Dialogue Response Generation with Dataflow Transduction and Constrained
Decoding [65.34601470417967]
本稿では,ニューラルネットワークモデリングとルールベース生成の強みを組み合わせた対話応答生成のためのハイブリッドアーキテクチャについて述べる。
本実験により, 本システムは, 流布性, 妥当性, 真理性の評価において, ルールベースおよび学習的アプローチの両方に優れることがわかった。
論文 参考訳（メタデータ） (2022-09-16T09:00:49Z) - GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。
GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。
評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
論文 参考訳（メタデータ） (2022-06-22T18:19:32Z) - DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for
Dialog Response Generation [80.45816053153722]
DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。
我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
論文 参考訳（メタデータ） (2022-04-27T16:18:15Z) - Representation Learning for Conversational Data using Discourse Mutual
Information Maximization [9.017156603976915]
構造を意識しない単語・バイ・ワード生成は効果的な会話モデリングには適さないと我々は主張する。
対話表現モデルの学習のための構造認識型相互情報に基づく損失関数DMIを提案する。
本モデルでは,対話評価タスクであるDailyDialog++において,ランダムな負のシナリオと逆のシナリオの両方において,最も有望な性能を示す。
論文 参考訳（メタデータ） (2021-12-04T13:17:07Z) - Response Generation with Context-Aware Prompt Learning [19.340498579331555]
本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。
限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。
提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
論文 参考訳（メタデータ） (2021-11-04T05:40:13Z) - Controlling Dialogue Generation with Semantic Exemplars [55.460082747572734]
本稿では,経験的応答に現れる意味的フレームを用いて生成をガイドする,経験的対話生成モデルEDGEを提案する。
単語自体の単語ではなく、経験者の意味的フレームに基づく対話生成の制御により、生成した応答の一貫性が向上することを示す。
論文 参考訳（メタデータ） (2020-08-20T17:02:37Z) - Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。
提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
論文 参考訳（メタデータ） (2020-05-01T20:01:39Z) - Prototype-to-Style: Dialogue Generation with Style-Aware Editing on
Retrieval Memory [65.98002918470543]
文体対話生成の課題に対処する新しいプロトタイプ・ツー・スタイルのフレームワークを提案する。
このフレームワークは、IR(Information Retrieval)システムを使用して、検索した応答から応答プロトタイプを抽出する。
スタイリスティック応答生成器は、プロトタイプと所望の言語スタイルをモデル入力として、高品質でスタイリスティックな応答を得る。
論文 参考訳（メタデータ） (2020-04-05T14:36:15Z) - An Empirical Investigation of Pre-Trained Transformer Language Models
for Open-Domain Dialogue Generation [23.343006562849126]
本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。
事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。
実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
論文 参考訳（メタデータ） (2020-03-09T15:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。