論文の概要: A Stack-Propagation Framework for Low-Resource Personalized Dialogue Generation
- arxiv url: http://arxiv.org/abs/2410.20174v1
- Date: Sat, 26 Oct 2024 13:09:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:18:22.962654
- Title: A Stack-Propagation Framework for Low-Resource Personalized Dialogue Generation
- Title（参考訳）: 低リソースパーソナライズダイアログ生成のためのスタックプロパゲーションフレームワーク
- Authors: Haoyu Song, Wei-Nan Zhang, Kaiyan Zhang, Ting Liu,
- Abstract要約: 対話生成および理解パイプラインを学習するための新しいスタックプロパゲーションフレームワークを提案する。
提案するフレームワークは、より小さなパーソナライズされた対話データから学ぶための、スタック化されたエンコーダとデコーダの恩恵を受けることができる。
- 参考スコア（独自算出の注目度）: 29.348053519918928
- License:
- Abstract: With the resurgent interest in building open-domain dialogue systems, the dialogue generation task has attracted increasing attention over the past few years. This task is usually formulated as a conditional generation problem, which aims to generate a natural and meaningful response given dialogue contexts and specific constraints, such as persona. And maintaining a consistent persona is essential for the dialogue systems to gain trust from the users. Although tremendous advancements have been brought, traditional persona-based dialogue models are typically trained by leveraging a large number of persona-dense dialogue examples. Yet, such persona-dense training data are expensive to obtain, leading to a limited scale. This work presents a novel approach to learning from limited training examples by regarding consistency understanding as a regularization of response generation. To this end, we propose a novel stack-propagation framework for learning a generation and understanding pipeline.Specifically, the framework stacks a Transformer encoder and two Transformer decoders, where the first decoder models response generation and the second serves as a regularizer and jointly models response generation and consistency understanding. The proposed framework can benefit from the stacked encoder and decoders to learn from much smaller personalized dialogue data while maintaining competitive performance. Under different low-resource settings, subjective and objective evaluations prove that the stack-propagation framework outperforms strong baselines in response quality and persona consistency and largely overcomes the shortcomings of traditional models that rely heavily on the persona-dense dialogue data.
- Abstract（参考訳）: 近年,オープンドメイン対話システム構築への関心が高まり,対話生成タスクが注目されている。
通常、このタスクは条件生成問題として定式化され、与えられた対話コンテキストやペルソナのような特定の制約に対して自然かつ有意義な応答を生成することを目的としている。
また,対話システムのユーザからの信頼を得るためには,一貫したペルソナを維持することが不可欠である。
非常に進歩してきたが、伝統的なペルソナベースの対話モデルは、多くのペルソナ・デンス対話の例を活用して訓練されるのが一般的である。
しかし、そのようなペルソナ・ディエンス・トレーニングデータは入手に費用がかかるため、規模は限られている。
本研究は, 整合性理解を応答生成の正規化として扱うことで, 限られた学習例から学習する新しい手法を提案する。
そこで本研究では,トランスフォーマーエンコーダと2つのトランスフォーマーデコーダを積み重ね,第1デコーダが応答生成をモデル化し,第2デコーダが正規化器として機能し,応答生成と一貫性理解を共同でモデル化する,新たなスタックプロパゲーションフレームワークを提案する。
提案するフレームワークは、競合性能を維持しながら、より小さなパーソナライズされた対話データから学習する、スタック化されたエンコーダとデコーダの恩恵を受けることができる。
異なる低リソース設定の下では、主観的および客観的評価により、スタックプロパゲーションフレームワークは応答品質とペルソナの一貫性において強いベースラインを上回り、ペルソナの対話データに大きく依存する従来のモデルの欠点を克服している。
関連論文リスト
- Controllable Mixed-Initiative Dialogue Generation through Prompting [50.03458333265885]
混合開始対話タスクには、情報の繰り返し交換と会話制御が含まれる。
エージェントは、ポリシープランナーが定める特定の対話意図や戦略に従う応答を生成することにより、コントロールを得る。
標準的なアプローチは、これらの意図に基づいて生成条件を実行するために、訓練済みの言語モデルを微調整している。
代わりに、条件生成の微調整に代えて、大きな言語モデルをドロップインで置き換えるように促します。
論文 参考訳（メタデータ） (2023-05-06T23:11:25Z) - X-ReCoSa: Multi-Scale Context Aggregation For Multi-Turn Dialogue
Generation [0.0]
マルチターン対話生成では、応答は文脈の話題や背景だけでなく、文脈の文中の単語やフレーズにも関係している。
現在広く使われている階層型ダイアログモデルは、単語レベルのエンコーダから出力される文表現を無視して、発話レベルのエンコーダからの文脈表現のみに依存している。
本稿では,階層型ダイアログモデルのためのマルチスケールコンテキスト情報を集約する,新しいダイアログモデルX-ReCoSaを提案する。
論文 参考訳（メタデータ） (2023-03-14T12:15:52Z) - Response Generation with Context-Aware Prompt Learning [19.340498579331555]
本稿では,対話生成問題を素早い学習課題とする,事前学習型対話モデリングのための新しい手法を提案する。
限られた対話データを微調整する代わりに、我々のアプローチであるDialogPromptは、対話コンテキストに最適化された連続的なプロンプト埋め込みを学習する。
提案手法は,微調整ベースラインと汎用的なプロンプト学習法を著しく上回っている。
論文 参考訳（メタデータ） (2021-11-04T05:40:13Z) - Improving Response Quality with Backward Reasoning in Open-domain
Dialogue Systems [53.160025961101354]
本稿では,バニラエンコーダデコーダトレーニングに後方推論ステップを追加することで,生成モデルを双方向にトレーニングすることを提案する。
提案する後方推論ステップは、モデルがより有益で一貫性のあるコンテンツを生成するように促す。
副次的な情報を導入することなく応答品質を向上させることができる。
論文 参考訳（メタデータ） (2021-04-30T20:38:27Z) - Alexa Conversations: An Extensible Data-driven Approach for Building
Task-oriented Dialogue Systems [21.98135285833616]
従来の目標指向対話システムは、自然言語理解、対話状態追跡、政策学習、応答生成など、さまざまなコンポーネントに依存している。
スケーラブルかつデータ効率の高い,目標指向の対話システム構築のための新たなアプローチを提案する。
論文 参考訳（メタデータ） (2021-04-19T07:09:27Z) - Reasoning in Dialog: Improving Response Generation by Context Reading
Comprehension [49.92173751203827]
マルチターンダイアログでは、発話が文の完全な形を取るとは限らない。
読み解きの質問に答えるモデルの能力を検討し、応答生成性能の向上を提案する。
論文 参考訳（メタデータ） (2020-12-14T10:58:01Z) - DialogBERT: Discourse-Aware Response Generation via Learning to Recover
and Rank Utterances [18.199473005335093]
本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。
発話間の談話レベルのコヒーレンスを効果的に把握するために,マスク付き発話回帰を含む2つの訓練目標を提案する。
3つのマルチターン会話データセットの実験により、我々のアプローチがベースラインを著しく上回ることを示した。
論文 参考訳（メタデータ） (2020-12-03T09:06:23Z) - Controlling Dialogue Generation with Semantic Exemplars [55.460082747572734]
本稿では,経験的応答に現れる意味的フレームを用いて生成をガイドする,経験的対話生成モデルEDGEを提案する。
単語自体の単語ではなく、経験者の意味的フレームに基づく対話生成の制御により、生成した応答の一貫性が向上することを示す。
論文 参考訳（メタデータ） (2020-08-20T17:02:37Z) - Ranking Enhanced Dialogue Generation [77.8321855074999]
対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。
これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。
本稿では,ランキング拡張対話生成フレームワークを提案する。
論文 参考訳（メタデータ） (2020-08-13T01:49:56Z) - Low-Resource Knowledge-Grounded Dialogue Generation [74.09352261943913]
我々は、限られた訓練例しか利用できないという自然な仮定のもと、知識基底による対話生成を考察する。
生成モデル全体から知識基底の対話に依存するパラメータを分離するために,不整合応答デコーダを考案する。
1/8のトレーニングデータだけで、我々のモデルは最先端のパフォーマンスを達成でき、ドメイン外の知識をうまく一般化できる。
論文 参考訳（メタデータ） (2020-02-24T16:20:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。