論文の概要: Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models

• arxiv url: http://arxiv.org/abs/2011.11673v1
• Date: Mon, 23 Nov 2020 19:12:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-22 02:01:46.342185
• Title: Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models
• Title（参考訳）: BERTは感受性を損なうか? アスペクトベース感性モデル改善のための文脈埋め込みと非文脈埋め込みの比較
• Authors: Natesh Reddy, Pranaydeep Singh, Muktabh Mayank Srivastava
• Abstract要約: BERTからの文脈埋め込みと一般的な単語埋め込みとの比較をトレーニングすることで感情を推測できることが示される。 また、BERTと汎用単語埋め込みを比較して構築したモデルの重みのサブセットを微調整すると、アスペクトベース感性分類データセットにおける極性検出のための技術結果が得られます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When performing Polarity Detection for different words in a sentence, we need to look at the words around to understand the sentiment. Massively pretrained language models like BERT can encode not only just the words in a document but also the context around the words along with them. This begs the questions, "Does a pretrain language model also automatically encode sentiment information about each word?" and "Can it be used to infer polarity towards different aspects?". In this work we try to answer this question by showing that training a comparison of a contextual embedding from BERT and a generic word embedding can be used to infer sentiment. We also show that if we finetune a subset of weights the model built on comparison of BERT and generic word embedding, it can get state of the art results for Polarity Detection in Aspect Based Sentiment Classification datasets.
• Abstract（参考訳）: 文中の異なる単語に対して極性検出を行う場合、感情を理解するために周囲の単語を見る必要がある。 BERTのような事前訓練された言語モデルは、文書内の単語だけでなく、単語の周囲のコンテキストもエンコードできる。 これは「事前訓練された言語モデルは、各単語に関する感情情報を自動的にエンコードするのか?」と疑問を投げかけ、「異なる側面に対して極性を推測するために使われるのか? 本研究では,BERTからコンテキスト埋め込みと一般的な単語埋め込みとの比較をトレーニングすることで,感情を推定できることを示す。 また、BERTと汎用単語埋め込みを比較して構築したモデルの重みのサブセットを微調整すると、アスペクトベース感性分類データセットにおける極性検出のための技術結果が得られます。

関連論文リスト

• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Sentiment-Aware Word and Sentence Level Pre-training for Sentiment Analysis [64.70116276295609]
  SentiWSPは、WordレベルとSentenceレベルの事前トレーニングタスクを組み合わせた、Sentiment対応の事前トレーニング言語モデルである。 SentiWSPは、様々な文レベルおよびアスペクトレベルの感情分類ベンチマーク上で、最先端のパフォーマンスを新たに達成する。
  論文  参考訳（メタデータ） (2022-10-18T12:25:29Z)
• Representing Affect Information in Word Embeddings [5.378735006566249]
  大規模ニューラルネットワークで事前学習した単語の埋め込みにおいて、単語の感情の意味がコード化されているかどうかを検討した。 埋め込みは静的あるいは文脈的に変化し、事前学習と微調整の段階で特定の情報にどの程度影響するかが優先された。
  論文  参考訳（メタデータ） (2022-09-21T18:16:33Z)
• Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
  各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。 単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
  論文  参考訳（メタデータ） (2022-08-20T12:27:25Z)
• Using Paraphrases to Study Properties of Contextual Embeddings [46.84861591608146]
  我々は、コンテキスト化された埋め込みを分析するために、独自のデータソースとしてパラフレーズを使用します。 パラフレーズは自然に一貫した単語やフレーズのセマンティクスを符号化するため、埋め込みの性質を調査するためのユニークなレンズを提供する。 文脈埋め込みは多文語を効果的に扱うが、多くの場合、驚くほど異なる表現を与える。
  論文  参考訳（メタデータ） (2022-07-12T14:22:05Z)
• Frequency-based Distortions in Contextualized Word Embeddings [29.88883761339757]
  本研究は,文脈化単語埋め込みの幾何学的特徴を2つの新しいツールを用いて探究する。 高頻度と低頻度の単語は、その表現幾何学に関して大きく異なる。 BERT-Baseは、北米やヨーロッパ諸国よりも南アメリカとアフリカ諸国の差別化が難しい。
  論文  参考訳（メタデータ） (2021-04-17T06:35:48Z)
• Deriving Contextualised Semantic Features from BERT (and Other Transformer Model) Embeddings [0.0]
  本稿では,Binder の特徴が BERT 埋め込み空間から導出可能であることを示す。 コンテキスト化されたBinder埋め込みを提供し、コンテキスト内の単語間の意味的差異を理解するのに役立つ。 さらに、BERTモデルの異なるレイヤ間でセマンティック機能がどのように表現されるかについての洞察も提供する。
  論文  参考訳（メタデータ） (2020-12-30T22:52:29Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• A Deep Neural Framework for Contextual Affect Detection [51.378225388679425]
  感情を持たない短い単純なテキストは、その文脈と共に読むときに強い感情を表現することができる。 文中の単語の相互依存を学習する文脈影響検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-01-28T05:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。