論文の概要: Understanding Pre-trained BERT for Aspect-based Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2011.00169v1
• Date: Sat, 31 Oct 2020 02:21:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 04:47:45.530075
• Title: Understanding Pre-trained BERT for Aspect-based Sentiment Analysis
• Title（参考訳）: Aspect-based Sentiment Analysisのための事前学習BERTの理解
• Authors: Hu Xu, Lei Shu, Philip S. Yu, Bing Liu
• Abstract要約: 本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。 アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
• 参考スコア（独自算出の注目度）: 71.40586258509394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper analyzes the pre-trained hidden representations learned from reviews on BERT for tasks in aspect-based sentiment analysis (ABSA). Our work is motivated by the recent progress in BERT-based language models for ABSA. However, it is not clear how the general proxy task of (masked) language model trained on unlabeled corpus without annotations of aspects or opinions can provide important features for downstream tasks in ABSA. By leveraging the annotated datasets in ABSA, we investigate both the attentions and the learned representations of BERT pre-trained on reviews. We found that BERT uses very few self-attention heads to encode context words (such as prepositions or pronouns that indicating an aspect) and opinion words for an aspect. Most features in the representation of an aspect are dedicated to the fine-grained semantics of the domain (or product category) and the aspect itself, instead of carrying summarized opinions from its context. We hope this investigation can help future research in improving self-supervised learning, unsupervised learning and fine-tuning for ABSA. The pre-trained model and code can be found at https://github.com/howardhsu/BERT-for-RRC-ABSA.
• Abstract（参考訳）: 本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた学習済みの隠れ表現について分析する。 我々の研究は、ABSAのためのBERTベースの言語モデルの最新の動向に動機づけられている。 しかし、アスペクトや意見のアノテーションなしでラベルなしコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクに重要な機能を提供しているかは明らかではない。 ABSAの注釈付きデータセットを利用することで、レビューで事前学習されたBERTの注意と学習表現の両方を調査する。 BERTは文脈語(例えば、アスペクトを示す前置詞や代名詞)と意見語を1つの側面にエンコードするために、非常に少ない自己注意頭を用いていることがわかった。 アスペクトの表現におけるほとんどの特徴は、そのコンテキストから要約された意見を運ぶのではなく、ドメイン(または製品カテゴリ)とアスペクト自体のきめ細かいセマンティクスに特化しています。 この調査は、自己指導型学習、教師なし学習、ABSAの微調整の改善に役立つことを期待している。 事前訓練されたモデルとコードはhttps://github.com/howardhsu/BERT-for-RRC-ABSAで見ることができる。

関連論文リスト

• ROAST: Review-level Opinion Aspect Sentiment Target Joint Detection for ABSA [50.90538760832107]
  本研究は新たな課題であるROAST(Review-Level Opinion Aspect Sentiment Target)を提示する。 ROASTは、文章レベルのABSAとテキストレベルのABSAのギャップを埋めようとしている。 利用可能なデータセットを拡張してROASTを有効にし、以前の研究で指摘された欠点に対処します。
  論文  参考訳（メタデータ） (2024-05-30T17:29:15Z)
• Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis [67.41078214475341]
  ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。 具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。 次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
  論文  参考訳（メタデータ） (2022-03-30T14:48:46Z)
• BERT-ASC: Auxiliary-Sentence Construction for Implicit Aspect Learning in Sentiment Analysis [4.522719296659495]
  本稿ではアスペクト分類とアスペクトベース感情サブタスクに対処する統合フレームワークを提案する。 コーパスのセマンティック情報を用いて暗黙的側面のための補助文を構築する機構を導入する。 次に、BERTはアスペクト自体ではなく、この補助文に応答してアスペクト固有の表現を学ぶことを推奨する。
  論文  参考訳（メタデータ） (2022-03-22T13:12:27Z)
• Arabic aspect based sentiment analysis using BERT [0.0]
  本稿では、BERTのような事前訓練された言語モデルからのコンテキスト埋め込みのモデリング機能について述べる。 我々は、このタスクに対処するために、シンプルだが効果的なBERTベースの神経ベースラインを構築しています。 実験結果によると, 単純な線形分類層を持つBERTアーキテクチャは, 最先端の成果を上回った。
  論文  参考訳（メタデータ） (2021-07-28T11:34:00Z)
• Out of Context: A New Clue for Context Modeling of Aspect-based Sentiment Analysis [54.735400754548635]
  ABSAは、与えられた側面に関してレビューで表現された感情を予測することを目的としている。 与えられたアスペクトは、コンテキストモデリングプロセスにおけるコンテキストからの新たなヒントと見なされるべきである。 異なるバックボーンに基づいて複数のアスペクト認識コンテキストエンコーダを設計する。
  論文  参考訳（メタデータ） (2021-06-21T02:26:03Z)
• Enhanced Aspect-Based Sentiment Analysis Models with Progressive Self-supervised Attention Learning [103.0064298630794]
  アスペクトベース感情分析(absa)では、多くのニューラルモデルに感情予測に対する各文脈単語の寄与を定量化するための注意機構が備わっている。 注目ABSAモデルに対する自己監督型注意学習の進歩的アプローチを提案する。 提案手法を3つの最先端の神経ABSAモデルに統合する。
  論文  参考訳（メタデータ） (2021-03-05T02:50:05Z)
• Exploiting BERT to improve aspect-based sentiment analysis performance on Persian language [0.0]
  本研究では,事前学習したBERTモデルを用いて,ABSAタスクにおける文ペア入力を活用する可能性を示す。 その結果,Pars-BERT事前学習モデルと自然言語推論助文(NLI-M)を用いることで,ABSAタスクの精度が91%向上することが示唆された。
  論文  参考訳（メタデータ） (2020-12-02T16:47:20Z)
• Improving BERT Performance for Aspect-Based Sentiment Analysis [3.5493798890908104]
  Aspect-Based Sentiment Analysis (ABSA)は、市場製品に関する消費者の意見を調査する。 製品レビューで表現された感情のタイプだけでなく、感情のタイプも調査する。 本稿では,提案モデルを適用することで,BERTモデルのさらなるトレーニングの必要性がなくなることを示す。
  論文  参考訳（メタデータ） (2020-10-22T13:52:18Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• Adversarial Training for Aspect-Based Sentiment Analysis with BERT [3.5493798890908104]
  本稿では,感情分析における敵対的トレーニングを活用するため,BERT Adrial Training (BAT) と呼ばれる新しいアーキテクチャを提案する。 提案したモデルは、両方のタスクにおいて、ポストトレーニング後のBERTよりも優れている。 我々の知る限りでは、ABSAにおける対人訓練の適用に関する最初の研究である。
  論文  参考訳（メタデータ） (2020-01-30T13:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。