論文の概要: Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations

• arxiv url: http://arxiv.org/abs/2309.04292v1
• Date: Fri, 8 Sep 2023 12:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 13:32:03.285052
• Title: Fuzzy Fingerprinting Transformer Language-Models for Emotion Recognition in Conversations
• Title（参考訳）: ファジィフィンガープリント変換言語モデルによる会話中の感情認識
• Authors: Patr\'icia Pereira, Rui Ribeiro, Helena Moniz, Luisa Coheur and Joao Paulo Carvalho
• Abstract要約: 会話における感情認識(ERC)を実現するための2つのアプローチを組み合わせることを提案する。 我々は,事前に訓練したRoBERTaに発話と以前の会話のターンを供給し,文脈的埋め込み発話表現を得る。 広く使われているDailyDialog ERCベンチマークデータセットに対するアプローチを検証する。
• 参考スコア（独自算出の注目度）: 0.7874708385247353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fuzzy Fingerprints have been successfully used as an interpretable text classification technique, but, like most other techniques, have been largely surpassed in performance by Large Pre-trained Language Models, such as BERT or RoBERTa. These models deliver state-of-the-art results in several Natural Language Processing tasks, namely Emotion Recognition in Conversations (ERC), but suffer from the lack of interpretability and explainability. In this paper, we propose to combine the two approaches to perform ERC, as a means to obtain simpler and more interpretable Large Language Models-based classifiers. We propose to feed the utterances and their previous conversational turns to a pre-trained RoBERTa, obtaining contextual embedding utterance representations, that are then supplied to an adapted Fuzzy Fingerprint classification module. We validate our approach on the widely used DailyDialog ERC benchmark dataset, in which we obtain state-of-the-art level results using a much lighter model.
• Abstract（参考訳）: ファジィフィンガープリントは、解釈可能なテキスト分類技術としてうまく使われてきたが、他のほとんどの技術と同様に、BERTやRoBERTaのような大規模事前学習言語モデルによって、性能が大幅に上回っている。 これらのモデルは、会話における感情認識(erc)を含むいくつかの自然言語処理タスクに最先端の結果をもたらすが、解釈可能性や説明可能性の欠如に苦しむ。 本稿では,ercを行うための2つの手法を組み合わせて,より単純で解釈可能な大規模言語モデルに基づく分類器を得る手法を提案する。 そこで本研究では,事前学習されたロバータに発話と,その前の会話の交代を供給し,文脈的埋め込み発話表現を取得し,ファジィ指紋分類モジュールに供給することを提案する。 我々はDailyDialog ERCベンチマークデータセットにアプローチを検証し、より軽量なモデルを用いて最先端レベルの結果を得る。

関連論文リスト

• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Contextual Information and Commonsense Based Prompt for Emotion Recognition in Conversation [14.651642872901496]
  会話における感情認識(Emotion Recognition in conversation,ERC)は、ある会話における発話ごとの感情を検出することを目的としている。 近年のERCモデルは、事前学習と微調整のパラダイムを取り入れた事前学習言語モデル(PLM)を活用して、優れた性能を実現している。 本稿では,命令モデルと言語モデル(LM)チューニングの新しいパラダイムを取り入れた新しいERCモデルCISPERを提案する。
  論文  参考訳（メタデータ） (2022-07-27T02:34:05Z)
• Interpreting Language Models Through Knowledge Graph Extraction [42.97929497661778]
  BERTに基づく言語モデルを,学習過程の逐次的な段階において取得した知識のスナップショットを通じて比較する。 本稿では, クローズイン・ザ・ブランク文から知識グラフを抽出し, 知識獲得のタイムラインを提示する手法を提案する。 この分析を, BERTモデル(DistilBERT, BERT-base, RoBERTa)の事前学習変化の比較に拡張する。
  論文  参考訳（メタデータ） (2021-11-16T15:18:01Z)
• An Exploration of Self-Supervised Pretrained Representations for End-to-End Speech Recognition [98.70304981174748]
  本稿では,事前訓練された音声表現の一般応用,高度なエンドツーエンド自動音声認識(E2E-ASR)モデルに焦点をあてる。 いくつかの事前訓練された音声表現を選択し、E2E-ASRのための様々なオープンソースおよび公開コーパスの実験結果を示す。
  論文  参考訳（メタデータ） (2021-10-09T15:06:09Z)
• Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
  Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。 非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。 本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2021-05-29T21:05:28Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Learning Spoken Language Representations with Neural Lattice Language Modeling [39.50831917042577]
  本稿では,音声言語理解タスクのための文脈表現を提供するために,ニューラルネットワーク言語モデルを訓練するフレームワークを提案する。 提案する2段階事前学習手法は,音声データの要求を低減し,効率を向上する。
  論文  参考訳（メタデータ） (2020-07-06T10:38:03Z)
• Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection [22.883725214057286]
  本稿では,意図に基づく言語モデル学習のための新しいアーキテクチャを提案する。 そこで本研究では,意図分布,単語特徴,トークン表現を融合させることで,スロット充足作業の強化を図る。 標準データセットによる実験結果から,我々のモデルは現在の非BERT状態と,より強力なBERTベースラインの両方に優れることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T15:00:21Z)
• Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets [4.7718339202518685]
  アクティブな学習を行う際にテキスト文書を表現するために使用される表現メカニズムは、そのプロセスがどれほど効果的かに大きな影響を及ぼす。 本稿では,事前学習型ニューラルネットワークモデルに基づく表現の有効性の包括的評価について述べる。 実験の結果,能動学習で得られた限られたラベル情報は,分類器の訓練に利用できるだけでなく,BERTに似た言語モデルによって生成された埋め込みも適応的に改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-21T02:37:44Z)
• Coreferential Reasoning Learning for Language Representation [88.14248323659267]
  本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。 実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-04-15T03:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。