論文の概要: DSBERT:Unsupervised Dialogue Structure learning with BERT

• arxiv url: http://arxiv.org/abs/2111.04933v1
• Date: Tue, 9 Nov 2021 03:31:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 21:46:16.391711
• Title: DSBERT:Unsupervised Dialogue Structure learning with BERT
• Title（参考訳）: DSBERT:BERTを用いた教師なし対話構造学習
• Authors: Bingkun Chen, Shaobing Dai, Shenghua Zheng, Lei Liao, Yang Li
• Abstract要約: 本稿では,Bert を用いた教師なし対話構造学習アルゴリズム DSBERT (Dialogue Structure BERT) を提案する。 従来のSOTAモデルであるVRNNとSVRNNとは異なり、BERTとAutoEncoderを組み合わせることで、コンテキスト情報を効果的に組み合わせることができる。 実験の結果,DSBERTは実構造に近い対話構造を生成でき,意味の異なる文を識別し,異なる隠れ状態にマッピングすることができることがわかった。
• 参考スコア（独自算出の注目度）: 4.171523157658394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised dialogue structure learning is an important and meaningful task in natural language processing. The extracted dialogue structure and process can help analyze human dialogue, and play a vital role in the design and evaluation of dialogue systems. The traditional dialogue system requires experts to manually design the dialogue structure, which is very costly. But through unsupervised dialogue structure learning, dialogue structure can be automatically obtained, reducing the cost of developers constructing dialogue process. The learned dialogue structure can be used to promote the dialogue generation of the downstream task system, and improve the logic and consistency of the dialogue robot's reply.In this paper, we propose a Bert-based unsupervised dialogue structure learning algorithm DSBERT (Dialogue Structure BERT). Different from the previous SOTA models VRNN and SVRNN, we combine BERT and AutoEncoder, which can effectively combine context information. In order to better prevent the model from falling into the local optimal solution and make the dialogue state distribution more uniform and reasonable, we also propose three balanced loss functions that can be used for dialogue structure learning. Experimental results show that DSBERT can generate a dialogue structure closer to the real structure, can distinguish sentences with different semantics and map them to different hidden states.
• Abstract（参考訳）: 教師なし対話構造学習は自然言語処理において重要かつ有意義なタスクである。 抽出された対話構造とプロセスは、人間の対話の分析に役立ち、対話システムの設計と評価において重要な役割を果たす。 従来の対話システムでは、専門家が手動で対話構造を設計する必要がある。 しかし、教師なし対話構造学習により、対話構造が自動的に得られ、開発者が対話プロセスを構築するコストを削減できる。 学習された対話構造は、下流タスクシステムの対話生成を促進し、対話ロボットの応答の論理と一貫性を向上させるために利用することができ、本論文では、バートをベースとした教師なし対話構造学習アルゴリズムDSBERTを提案する。 従来のSOTAモデルであるVRNNとSVRNNとは異なり、BERTとAutoEncoderを組み合わせることで、コンテキスト情報を効果的に組み合わせることができる。 モデルが局所最適解に陥るのを防止し、対話状態の分布をより均一かつ合理的にするため、対話構造学習に使用できる3つのバランスの取れた損失関数も提案する。 実験の結果,DSBERTは実構造に近い対話構造を生成でき,意味の異なる文を識別し,異なる隠れ状態にマッピングすることができることがわかった。

関連論文リスト

• Revisiting Conversation Discourse for Dialogue Disentanglement [88.3386821205896]
  本稿では,対話談話特性を最大限に活用し,対話の絡み合いを高めることを提案する。 我々は,会話の意味的文脈をより良くモデル化するために,リッチな構造的特徴を統合する構造認識フレームワークを開発した。 我々の研究は、より広範なマルチスレッド対話アプリケーションを促進する大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-06T19:17:47Z)
• CTRLStruct: Dialogue Structure Learning for Open-Domain Response Generation [38.60073402817218]
  十分に構造化されたトピックフローは、バックグラウンド情報を活用し、将来のトピックを予測することで、制御可能で説明可能な応答を生成する。 本稿では,話題レベルの対話クラスタを効果的に探索する対話構造学習のための新しいフレームワークを提案する。 2つの人気のあるオープンドメイン対話データセットの実験は、優れた対話モデルと比較して、我々のモデルはより一貫性のある応答を生成できることを示している。
  論文  参考訳（メタデータ） (2023-03-02T09:27:11Z)
• STRUDEL: Structured Dialogue Summarization for Dialogue Comprehension [42.57581945778631]
  抽象的な対話要約は、自然言語処理における重要なスタンドアロンタスクとみなされてきた。 本稿では,新たな対話要約タスクであるSTRUctured DiaLoguE Summarizationを提案する。 変換器エンコーダ言語モデルの対話理解性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-24T04:39:54Z)
• Structure Extraction in Task-Oriented Dialogues with Slot Clustering [94.27806592467537]
  タスク指向対話では、対話構造はしばしば対話状態間の遷移グラフと見なされている。 本稿では,タスク指向対話における構造抽出のための簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-28T20:18:12Z)
• UniDS: A Unified Dialogue System for Chit-Chat and Task-oriented Dialogues [59.499965460525694]
  上記の2つのスキルを備えた統合対話システム(UniDS)を提案する。 我々は、チャットとタスク指向の対話の両方に対応可能な統合対話データスキーマを設計する。 我々は、事前訓練されたチャット対話モデルから混合対話データでUniDSを訓練する。
  論文  参考訳（メタデータ） (2021-10-15T11:56:47Z)
• Structural Modeling for Dialogue Disentanglement [43.352833140317486]
  マルチパーティ対話コンテキスト マルチパーティ対話コンテキストは、対話読解の課題に繋がる。 本研究は,対話構造の特徴を考慮に入れて,複数パーティ履歴をスレッドにアンタングルする新しいモデルを設計する。
  論文  参考訳（メタデータ） (2021-10-15T11:28:43Z)
• Structured Attention for Unsupervised Dialogue Structure Induction [110.12561786644122]
  本稿では、構造化された注意層を離散潜在状態を持つ変化型リカレントニューラルネットワーク(VRNN)モデルに組み込んで、教師なしの方法で対話構造を学ぶことを提案する。 バニラVRNNと比較して、構造化された注意は、構造的帰納バイアスを強制しながら、ソース文の埋め込みの異なる部分にフォーカスすることができる。
  論文  参考訳（メタデータ） (2020-09-17T23:07:03Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)
• Conversation Learner -- A Machine Teaching Tool for Building Dialog Managers for Task-Oriented Dialog Systems [57.082447660944965]
  Conversation Learnerは、ダイアログマネージャを構築するための機械学習ツールである。 ダイアログ作成者が慣れ親しんだツールを使ってダイアログフローを作成し、ダイアログフローをパラメトリックモデルに変換することができる。 ユーザシステムダイアログをトレーニングデータとして活用することで、ダイアログ作成者が時間とともにダイアログマネージャを改善することができる。
  論文  参考訳（メタデータ） (2020-04-09T00:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。