論文の概要: Structured Self-Attention Weights Encode Semantics in Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2010.04922v1
- Date: Sat, 10 Oct 2020 06:49:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 22:27:46.267436
- Title: Structured Self-Attention Weights Encode Semantics in Sentiment Analysis
- Title(参考訳): 感情分析におけるセマンティクスをエンコードする構造化自己注意重み
- Authors: Zhengxuan Wu, Thanh-Son Nguyen, Desmond C. Ong
- Abstract要約: 感情分析タスクを考慮し,意味論をコード化する自己注意スコアを示す。
構造化された注意重みを解析するための簡易かつ効果的な注意追跡法を提案する。
この結果から,構造化された注意重みは感情分析におけるリッチな意味論を符号化し,人間による意味論の解釈と一致することがわかった。
- 参考スコア(独自算出の注目度): 13.474141732019099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural attention, especially the self-attention made popular by the
Transformer, has become the workhorse of state-of-the-art natural language
processing (NLP) models. Very recent work suggests that the self-attention in
the Transformer encodes syntactic information; Here, we show that
self-attention scores encode semantics by considering sentiment analysis tasks.
In contrast to gradient-based feature attribution methods, we propose a simple
and effective Layer-wise Attention Tracing (LAT) method to analyze structured
attention weights. We apply our method to Transformer models trained on two
tasks that have surface dissimilarities, but share common semantics---sentiment
analysis of movie reviews and time-series valence prediction in life story
narratives. Across both tasks, words with high aggregated attention weights
were rich in emotional semantics, as quantitatively validated by an emotion
lexicon labeled by human annotators. Our results show that structured attention
weights encode rich semantics in sentiment analysis, and match human
interpretations of semantics.
- Abstract(参考訳): ニューラルアテンション、特にトランスフォーマーが普及させた自己注意は、最先端の自然言語処理(NLP)モデルのワークホースとなっている。
直近の研究では,トランスフォーマの自己着脱が構文情報をエンコードしていることが示唆され,本研究では自己着脱スコアが感情分析タスクを考慮して意味論をエンコードすることを示す。
グラデーションに基づく特徴帰属法とは対照的に,構造的注意重み分析のための単純かつ効果的な層間注意追跡(lat)法を提案する。
本手法は,表面の類似性を持つ2つのタスクで訓練されたトランスフォーマモデルに適用するが,共通意味論(映画レビューの強調分析とライフストーリー物語における時系列のヴァレンス予測)を共有する。
いずれのタスクにおいても,注目度が高い単語は感情的意味論に富み,人間のアノテータによってラベル付けされた感情辞書によって定量的に検証された。
その結果,構造化された注意重みは感情分析においてリッチな意味論を符号化し,人間による意味論の解釈と一致することがわかった。
関連論文リスト
- Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳(メタデータ) (2024-02-13T02:46:45Z) - Analysis of the Evolution of Advanced Transformer-Based Language Models:
Experiments on Opinion Mining [0.5735035463793008]
本稿では,最先端のトランスフォーマーに基づく言語モデルの意見マイニングにおける挙動について検討する。
私たちの比較研究は、フォーカスするアプローチに関して、プロダクションエンジニアがリードし、道を開く方法を示しています。
論文 参考訳(メタデータ) (2023-08-07T01:10:50Z) - How Do Transformers Learn Topic Structure: Towards a Mechanistic
Understanding [56.222097640468306]
我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する
数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
論文 参考訳(メタデータ) (2023-03-07T21:42:17Z) - REDAffectiveLM: Leveraging Affect Enriched Embedding and
Transformer-based Neural Language Model for Readers' Emotion Detection [3.6678641723285446]
本稿では,REDAffectiveLMと呼ばれる深層学習モデルを用いて,短文文書からの読み手感情検出のための新しい手法を提案する。
コンテクストに特化してリッチ表現に影響を与え, リッチBi-LSTM+Attentionに影響を及ぼすタンデムにおいて, トランスフォーマーに基づく事前学習言語モデルを用いることで, リッチ表現に影響を及ぼす。
論文 参考訳(メタデータ) (2023-01-21T19:28:25Z) - Automatic Emotion Modelling in Written Stories [4.484753247472559]
そこで本稿では,トランスフォーマーをベースとした新たな手法を提案する。
我々は,事前学習したELECTRAモデルを微調整するためのいくつかの戦略を探求し,文の文脈を考えることの利点について検討する。
私たちのコードと追加のアノテーションはhttps://github.com/lc0197/emotion_modelling_stories.orgで利用可能です。
論文 参考訳(メタデータ) (2022-12-21T21:46:01Z) - Sentiment-Aware Word and Sentence Level Pre-training for Sentiment
Analysis [64.70116276295609]
SentiWSPは、WordレベルとSentenceレベルの事前トレーニングタスクを組み合わせた、Sentiment対応の事前トレーニング言語モデルである。
SentiWSPは、様々な文レベルおよびアスペクトレベルの感情分類ベンチマーク上で、最先端のパフォーマンスを新たに達成する。
論文 参考訳(メタデータ) (2022-10-18T12:25:29Z) - Exploiting Word Semantics to Enrich Character Representations of Chinese
Pre-trained Models [12.0190584907439]
本稿では,単語構造を利用して語彙意味を事前学習したモデルの文字表現に統合する手法を提案する。
提案手法は,中国の異なるNLPタスクにおけるBERT,BERT-wwm,ERNIEよりも優れた性能を示すことを示す。
論文 参考訳(メタデータ) (2022-07-13T02:28:08Z) - Probing Speech Emotion Recognition Transformers for Linguistic Knowledge [7.81884995637243]
音声認識の微調整における言語情報の利用状況について検討する。
テキストの感情を変化させながら、韻律的に中性な発話を合成する。
変圧器モデルの妥当性予測は、否定だけでなく、肯定的および否定的な感情内容に対して非常に反応するが、増強剤や還元剤には反応しない。
論文 参考訳(メタデータ) (2022-04-01T12:47:45Z) - Sentiment analysis in tweets: an assessment study from classical to
modern text representation models [59.107260266206445]
Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。
非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。
本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
論文 参考訳(メタデータ) (2021-05-29T21:05:28Z) - Enhanced Aspect-Based Sentiment Analysis Models with Progressive
Self-supervised Attention Learning [103.0064298630794]
アスペクトベース感情分析(absa)では、多くのニューラルモデルに感情予測に対する各文脈単語の寄与を定量化するための注意機構が備わっている。
注目ABSAモデルに対する自己監督型注意学習の進歩的アプローチを提案する。
提案手法を3つの最先端の神経ABSAモデルに統合する。
論文 参考訳(メタデータ) (2021-03-05T02:50:05Z) - Temporal Embeddings and Transformer Models for Narrative Text
Understanding [72.88083067388155]
キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。
これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。
最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
論文 参考訳(メタデータ) (2020-03-19T14:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。