論文の概要: Hierarchical Transformer Network for Utterance-level Emotion Recognition

• arxiv url: http://arxiv.org/abs/2002.07551v1
• Date: Tue, 18 Feb 2020 13:44:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:44:13.524038
• Title: Hierarchical Transformer Network for Utterance-level Emotion Recognition
• Title（参考訳）: 発話レベル感情認識のための階層的トランスフォーマネットワーク
• Authors: QingBiao Li (Beijing University of Posts and Telecommunications), ChunHua Wu (Beijing University of Posts and Telecommunications), KangFeng Zheng (Beijing University of Posts and Telecommunications) and Zhe Wang (Beijing University of Posts and Telecommunications)
• Abstract要約: 発話レベルの感情認識(ULER)における課題に対処する。 従来のテキスト分類問題とは異なり、このタスクは限られた数のデータセットでサポートされている。 我々は、低レベルトランスとして、変換器(BERT)からの双方向エンコーダ表現を事前訓練した言語モデルを用いる。 さらに、初めてモデルに話者埋め込みを追加し、モデルが話者間の相互作用を捉えられるようにします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While there have been significant advances in de-tecting emotions in text, in the field of utter-ance-level emotion recognition (ULER), there are still many problems to be solved. In this paper, we address some challenges in ULER in dialog sys-tems. (1) The same utterance can deliver different emotions when it is in different contexts or from different speakers. (2) Long-range contextual in-formation is hard to effectively capture. (3) Unlike the traditional text classification problem, this task is supported by a limited number of datasets, among which most contain inadequate conversa-tions or speech. To address these problems, we propose a hierarchical transformer framework (apart from the description of other studies, the "transformer" in this paper usually refers to the encoder part of the transformer) with a lower-level transformer to model the word-level input and an upper-level transformer to capture the context of utterance-level embeddings. We use a pretrained language model bidirectional encoder representa-tions from transformers (BERT) as the lower-level transformer, which is equivalent to introducing external data into the model and solve the problem of data shortage to some extent. In addition, we add speaker embeddings to the model for the first time, which enables our model to capture the in-teraction between speakers. Experiments on three dialog emotion datasets, Friends, EmotionPush, and EmoryNLP, demonstrate that our proposed hierarchical transformer network models achieve 1.98%, 2.83%, and 3.94% improvement, respec-tively, over the state-of-the-art methods on each dataset in terms of macro-F1.
• Abstract（参考訳）: テキスト中の感情の検出には大きな進歩があったが、発話レベルの感情認識(ULER)の分野では、解決すべき問題がまだたくさんある。 本稿では,ダイアログサイステンスにおけるULERの課題について述べる。 1)同じ発話は、異なる文脈や異なる話者から異なる感情を伝達することができる。 2) 長期的文脈的インフォーメーションは効果的に捉えにくい。 3)従来のテキスト分類問題とは異なり、このタスクは限られた数のデータセットでサポートされており、そのほとんどは不適切な会話や音声を含んでいる。 これらの問題に対処するために、単語レベルの入力をモデル化する下層変換器と、発話レベルの埋め込みのコンテキストをキャプチャする上層変換器を備えた階層変換器フレームワーク(他の研究の他に、この論文の「変換器」は変圧器のエンコーダ部分を指すことが多い)を提案する。 我々は,変換器(BERT)からの双方向エンコーダを,モデルに外部データを導入し,データ不足の問題をある程度解決する低レベルトランスフォーマーとして,事前訓練された言語モデル双方向エンコーダを用いた。 さらに、初めてモデルに話者埋め込みを追加し、モデルが話者間の相互作用を捉えられるようにします。 Friends, EmotionPush, EmoryNLPの3つのダイアログ感情データセットの実験により、提案した階層トランスフォーマーネットワークモデルは、マクロF1の観点から各データセットの最先端メソッドに対して1.98%、2.83%、および3.94%の改善を達成した。

関連論文リスト

• Emotion Detection with Transformers: A Comparative Study [0.0]
  我々は、異なる変圧器の変種を用いて、感情データセットを用いて、事前訓練されたトランスフォーマーモデルを訓練し、評価する。 解析の結果,句読解や停止語といった一般的な手法は,モデルの性能を損なうことが判明した。
  論文  参考訳（メタデータ） (2024-03-18T23:22:50Z)
• Multilevel Transformer For Multimodal Emotion Recognition [6.0149102420697025]
  本稿では,微粒化表現と事前学習した発話レベル表現を組み合わせた新しい多粒度フレームワークを提案する。 本研究では,Transformer TTSにインスパイアされたマルチレベルトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-26T10:31:24Z)
• Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling [69.31802246621963]
  本稿では、既存のトレーニング済みエンコーダデコーダモデルと互換性のある新しいメモリ拡張トランスを提案する。 事前訓練された変換器と共に別々のメモリモジュールを組み込むことで、モデルはメモリ状態と現在の入力コンテキストの間で情報を効果的に交換することができる。
  論文  参考訳（メタデータ） (2022-09-15T22:37:22Z)
• Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
  本稿では,時間文グラウンドリングのマルチメディア問題について検討する。 与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
  論文  参考訳（メタデータ） (2022-08-31T14:16:56Z)
• Paragraph-based Transformer Pre-training for Multi-Sentence Inference [99.59693674455582]
  マルチ候補推論タスクの微調整に使用する場合,一般的な事前学習型トランスフォーマーは性能が良くないことを示す。 次に、複数の入力文にまたがる段落レベルの意味をモデル化する新しい事前学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-02T21:41:14Z)
• Transformer over Pre-trained Transformer for Neural Text Segmentation with Enhanced Topic Coherence [6.73258176462356]
  それは、事前訓練されたトランスフォーマーを用いたボトムレベル文エンコーダと、文埋め込みに基づく上位レベルのトランスフォーマーベースのセグメンテーションモデルである。 実験の結果、Transformer$2$は、一般的に使われているセマンティックコヒーレンス尺度によって、最先端のテキストセグメンテーションモデルを超えていることがわかった。
  論文  参考訳（メタデータ） (2021-10-14T05:26:39Z)
• HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval [40.646628490887075]
  ビデオテキスト検索のためのHiT(Hierarchical Transformer)という新しい手法を提案する。 HiTは特徴レベルと意味レベルで階層的相互モーダルコントラストマッチングを行い、多視点および包括的検索結果を得る。 MoCoにインスパイアされたクロスモーダル学習のためのMomentum Cross-modal Contrastを提案する。
  論文  参考訳（メタデータ） (2021-03-28T04:52:25Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)
• Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering [20.294478273161303]
  マルチパーティ対話における階層的表現を学習するトランスフォーマーに新しいアプローチを導入する。 このアプローチはFriendsQAデータセットに基づいて評価され、最先端トランスフォーマーモデルBERTとRoBERTaの2つのモデルに対して3.8%と1.4%の改善が示されている。
  論文  参考訳（メタデータ） (2020-04-07T17:36:33Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。