論文の概要: Modeling Topical Relevance for Multi-Turn Dialogue Generation

• arxiv url: http://arxiv.org/abs/2009.12735v1
• Date: Sun, 27 Sep 2020 03:33:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 03:17:09.660755
• Title: Modeling Topical Relevance for Multi-Turn Dialogue Generation
• Title（参考訳）: マルチターン対話生成における話題関係のモデル化
• Authors: Hainan Zhang, Yanyan Lan, Liang Pang, Hongshen Chen, Zhuoye Ding and Dawei Yin
• Abstract要約: マルチターン対話におけるトピックドリフト問題に対処する新しいモデルSTAR-BTMを提案する。 バイラルトピックモデルは、トレーニングデータセット全体に基づいて事前トレーニングされ、各コンテキストのトピック表現に基づいてトピックレベルの注意重みが計算される。 中国における顧客サービスデータと英語Ubuntuの対話データの両方の実験結果から、STAR-BTMは最先端の手法を著しく上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 61.87165077442267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topic drift is a common phenomenon in multi-turn dialogue. Therefore, an ideal dialogue generation models should be able to capture the topic information of each context, detect the relevant context, and produce appropriate responses accordingly. However, existing models usually use word or sentence level similarities to detect the relevant contexts, which fail to well capture the topical level relevance. In this paper, we propose a new model, named STAR-BTM, to tackle this problem. Firstly, the Biterm Topic Model is pre-trained on the whole training dataset. Then, the topic level attention weights are computed based on the topic representation of each context. Finally, the attention weights and the topic distribution are utilized in the decoding process to generate the corresponding responses. Experimental results on both Chinese customer services data and English Ubuntu dialogue data show that STAR-BTM significantly outperforms several state-of-the-art methods, in terms of both metric-based and human evaluations.
• Abstract（参考訳）: トピックドリフトはマルチターン対話において一般的な現象である。 したがって、理想的な対話生成モデルは、各コンテキストのトピック情報をキャプチャし、関連するコンテキストを検出し、適切な応答を生成することができるべきである。 しかし、既存のモデルは通常、単語や文レベルの類似性を用いて関連するコンテキストを検出するが、トピックレベルの関連性をうまく把握できない。 本稿では,この問題に対処するための新しいモデルSTAR-BTMを提案する。 まず、Biterm Topic Modelはトレーニングデータセット全体に事前トレーニングされる。 そして、各文脈の話題表現に基づいてトピックレベルの注目重みを算出する。 最後に、復号処理において注意重みと話題分布を利用して対応する応答を生成する。 中国における顧客サービスデータと英語Ubuntuの対話データの両方の実験結果から、STAR-BTMはメートル法と人的評価の両面で、最先端の手法を著しく上回っていることがわかった。

関連論文リスト

• Interactive Topic Models with Optimal Transport [75.26555710661908]
  ラベル名監視型トピックモデリングのためのアプローチとして,EdTMを提案する。 EdTMは、LM/LLMベースのドキュメントトピック親和性を活用しながら、代入問題としてのトピックモデリングをモデル化する。
  論文  参考訳（メタデータ） (2024-06-28T13:57:27Z)
• Multi-turn Dialogue Comprehension from a Topic-aware Perspective [70.37126956655985]
  本稿では,話題認識の観点から,マルチターン対話をモデル化することを提案する。 対話文のセグメント化アルゴリズムを用いて、対話文を教師なしの方法でトピック集中フラグメントに分割する。 また,トピックセグメントを処理要素として扱う新しいモデルとして,トピック認識デュアルアテンションマッチング(TADAM)ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-09-18T11:03:55Z)
• Multi-Granularity Prompts for Topic Shift Detection in Dialogue [13.739991183173494]
  対話トピックシフト検出の目標は、会話中の現在のトピックが変更されたか、変更する必要があるかを特定することである。 従来の研究は、事前訓練されたモデルを用いて発話を符号化するトピックシフトの検出に重点を置いていた。 我々は,複数粒度での対話,すなわちラベル,ターン,トピックから話題情報を抽出するために,プロンプトベースのアプローチを採用する。
  論文  参考訳（メタデータ） (2023-05-23T12:35:49Z)
• DIONYSUS: A Pre-trained Model for Low-Resource Dialogue Summarization [127.714919036388]
  DIONYSUSは、任意の新しいドメインでの対話を要約するための訓練済みエンコーダデコーダモデルである。 実験の結果,DIONYSUSは6つのデータセット上で既存の手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-12-20T06:21:21Z)
• Context Matters in Semantically Controlled Language Generation for Task-oriented Dialogue Systems [6.1478669848771546]
  本研究は,タスク指向対話における文脈言語生成を実現するために,事前学習モデルによって符号化された対話履歴情報と,現在のシステム発話の意味表現とを組み合わせる。 我々は、事前学習されたマルチコンテキスト・コンベRTモデルを、スクラッチから訓練されたモデルにおける文脈表現に利用し、事前学習されたGPT-2から適応したモデルにおいて、直前のユーザ発話を文脈生成に活用する。
  論文  参考訳（メタデータ） (2021-11-28T11:48:02Z)
• Topic-Aware Multi-turn Dialogue Modeling [91.52820664879432]
  本稿では,トピック認識発話を教師なしでセグメント化して抽出する,多元対話モデリングのための新しいソリューションを提案する。 トピック・アウェア・モデリングは、新たに提案されたトピック・アウェア・セグメンテーション・アルゴリズムとトピック・アウェア・デュアル・アテンション・マッチング(TADAM)ネットワークによって実現されている。
  論文  参考訳（メタデータ） (2020-09-26T08:43:06Z)
• An Empirical Investigation of Pre-Trained Transformer Language Models for Open-Domain Dialogue Generation [23.343006562849126]
  本稿では,オープンドメイン対話生成作業のための事前学習型トランスフォーマーに基づく自動回帰言語モデルについて実験的に検討する。 事前訓練と微調整の訓練パラダイムは、学習を行うために使用される。 実験は、Weibo、Douban、Reddit、DailyDialog、Persona-Chatといった典型的なシングルターンとマルチターンの対話コーパスで行われる。
  論文  参考訳（メタデータ） (2020-03-09T15:20:21Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。