論文の概要: DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition

• arxiv url: http://arxiv.org/abs/2012.08695v1
• Date: Wed, 16 Dec 2020 01:50:46 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-07 02:46:41.663214
• Title: DialogXL: All-in-One XLNet for Multi-Party Conversation Emotion Recognition
• Title（参考訳）: DialogXL:多人数会話感情認識のためのオールインワンXLNet
• Authors: Weizhou Shen, Junqing Chen, Xiaojun Quan and Zhixian Xie
• Abstract要約: 本稿では,予め訓練された言語モデルを用いた会話における感情認識(ERC)の先駆的取り組みについて述べる。 本稿では,メモリを拡張したオールインワンXLNetモデルDialogXLを提案する。 また,xlnetにおけるバニラセルフアテンションに代わるダイアログアウェアな自己アテンションを導入し,有用な話者間および話者間依存性を捉える。
• 参考スコア（独自算出の注目度）: 9.782331919669788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents our pioneering effort for emotion recognition in conversation (ERC) with pre-trained language models. Unlike regular documents, conversational utterances appear alternately from different parties and are usually organized as hierarchical structures in previous work. Such structures are not conducive to the application of pre-trained language models such as XLNet. To address this issue, we propose an all-in-one XLNet model, namely DialogXL, with enhanced memory to store longer historical context and dialog-aware self-attention to deal with the multi-party structures. Specifically, we first modify the recurrence mechanism of XLNet from segment-level to utterance-level in order to better model the conversational data. Second, we introduce dialog-aware self-attention in replacement of the vanilla self-attention in XLNet to capture useful intra- and inter-speaker dependencies. Extensive experiments are conducted on four ERC benchmarks with mainstream models presented for comparison. The experimental results show that the proposed model outperforms the baselines on all the datasets. Several other experiments such as ablation study and error analysis are also conducted and the results confirm the role of the critical modules of DialogXL.
• Abstract（参考訳）: 本稿では、事前学習された言語モデルを用いた会話(ERC)における感情認識の先駆的取り組みについて述べる。 通常の文書とは異なり、会話の発話は異なる当事者から交互に現れ、通常以前の作品の階層構造として整理される。 このような構造は、XLNetのような事前訓練された言語モデルの適用には適していない。 この問題に対処するために,より長い歴史的コンテキストを記憶するためのメモリ拡張と,複数パーティ構造を扱うための対話型自己アテンションを備えたオールインワンXLNetモデル,すなわちDialogXLを提案する。 具体的には,まず,XLNetの繰り返しメカニズムをセグメントレベルから発話レベルに修正し,会話データをモデル化する。 第2に,xlnetのバニラセルフアテンションに代わるダイアログアウェアな自己アテンションを導入し,有用な話者間および話者間依存性を捉える。 比較のために主要なモデルを提示した4つのERCベンチマークで大規模な実験が行われた。 実験の結果,提案モデルがすべてのデータセットのベースラインを上回ることがわかった。 アブレーション研究やエラー解析など,いくつかの実験も実施され,DialogXLの臨界モジュールの役割が確認された。

関連論文リスト

• Argumentation Element Annotation Modeling using XLNet [0.0]
  本研究では,変圧器を用いた言語モデルであるXLNetの有効性を示す。 XLNetのアーキテクチャには、長文の長期依存をモデル化するための繰り返しメカニズムが組み込まれている。
  論文  参考訳（メタデータ） (2023-11-10T18:55:23Z)
• Pre-training Multi-party Dialogue Models with Latent Discourse Inference [85.9683181507206]
  我々は、多人数対話の会話構造、すなわち、各発話が応答する相手を理解するモデルを事前訓練する。 ラベル付きデータを完全に活用するために,談話構造を潜在変数として扱い,それらを共同で推論し,談話認識モデルを事前学習することを提案する。
  論文  参考訳（メタデータ） (2023-05-24T14:06:27Z)
• Controllable Factuality in Document-Grounded Dialog Systems Using a Noisy Channel Model [40.05826687535019]
  ベイズ定理により2つの成分に分解されたダイアログにおける文書基底応答生成モデルを提案する。 我々は,複数のオープンドメインおよびタスク指向文書グラウンドド・ダイアログ・データセットに対して,近似復号方式を提案し,我々のアプローチを評価する。
  論文  参考訳（メタデータ） (2022-10-31T15:48:01Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation [80.45816053153722]
  DialogVEDは、拡張エンコーダデコーダ事前トレーニングフレームワークに連続潜伏変数を導入し、応答の関連性と多様性を高める。 我々は,PersonaChat,DailyDialog,DSTC7-AVSDベンチマークを用いて応答生成実験を行った。
  論文  参考訳（メタデータ） (2022-04-27T16:18:15Z)
• Representation Learning for Conversational Data using Discourse Mutual Information Maximization [9.017156603976915]
  構造を意識しない単語・バイ・ワード生成は効果的な会話モデリングには適さないと我々は主張する。 対話表現モデルの学習のための構造認識型相互情報に基づく損失関数DMIを提案する。 本モデルでは,対話評価タスクであるDailyDialog++において,ランダムな負のシナリオと逆のシナリオの両方において,最も有望な性能を示す。
  論文  参考訳（メタデータ） (2021-12-04T13:17:07Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)
• Paraphrase Augmented Task-Oriented Dialog Generation [68.1790912977053]
  本稿では,パラフレーズモデルと応答生成モデルを協調訓練するパラフレーズ拡張応答生成(PARG)フレームワークを提案する。 また、ダイアログ状態とダイアログアクトラベルに基づいて、パラフレーズトレーニングデータセットを自動構築する手法も設計する。
  論文  参考訳（メタデータ） (2020-04-16T05:12:36Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。