論文の概要: Context-Guided BERT for Targeted Aspect-Based Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2010.07523v2
• Date: Mon, 14 Dec 2020 18:33:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 02:49:36.850461
• Title: Context-Guided BERT for Targeted Aspect-Based Sentiment Analysis
• Title（参考訳）: アスペクトベース感情分析のためのコンテキスト誘導bert
• Authors: Zhengxuan Wu, Desmond C. Ong
• Abstract要約: 自己注意モデルにコンテキストを追加することで(T)ABSAの性能が向上するかどうかを検討する。 本稿では,異なるコンテキスト下で注意を分散することを学ぶための2種類のコンテキストガイドBERT(CG-BERT)を提案する。 我々の研究は、文脈に基づく自然言語タスクのための事前学習された自己注意に基づく言語モデルに文脈依存性を追加するという有用性を示す。
• 参考スコア（独自算出の注目度）: 14.394987796101349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Aspect-based sentiment analysis (ABSA) and Targeted ASBA (TABSA) allow finer-grained inferences about sentiment to be drawn from the same text, depending on context. For example, a given text can have different targets (e.g., neighborhoods) and different aspects (e.g., price or safety), with different sentiment associated with each target-aspect pair. In this paper, we investigate whether adding context to self-attention models improves performance on (T)ABSA. We propose two variants of Context-Guided BERT (CG-BERT) that learn to distribute attention under different contexts. We first adapt a context-aware Transformer to produce a CG-BERT that uses context-guided softmax-attention. Next, we propose an improved Quasi-Attention CG-BERT model that learns a compositional attention that supports subtractive attention. We train both models with pretrained BERT on two (T)ABSA datasets: SentiHood and SemEval-2014 (Task 4). Both models achieve new state-of-the-art results with our QACG-BERT model having the best performance. Furthermore, we provide analyses of the impact of context in the our proposed models. Our work provides more evidence for the utility of adding context-dependencies to pretrained self-attention-based language models for context-based natural language tasks.
• Abstract（参考訳）: Aspect-based sentiment analysis (ABSA) と Targeted ASBA (TABSA) は、文脈に応じて、同じテキストから感情についてよりきめ細かい推測ができる。 例えば、あるテキストは異なるターゲット(例えば、近所)と異なる側面(例えば、価格や安全性)を持ち、それぞれのターゲットとアスペクトのペアに異なる感情を持つことができる。 本稿では,自己注意モデルにコンテキストを追加することで,(T)ABSAの性能が向上するかどうかを検討する。 本稿では,異なるコンテキスト下で注意を分散することを学ぶための2種類のコンテキストガイドBERT(CG-BERT)を提案する。 まず、文脈適応型ソフトマックスアテンションを用いたCG-BERTを生成する。 次に,減算的注意を支える構成的注意を学ぶ,改良された準アテンションcg-bertモデルを提案する。 SentiHoodとSemEval-2014(Task 4)の2つの(T)ABSAデータセット上で、事前トレーニングされたBERTで両方のモデルをトレーニングします。 どちらのモデルも、最高の性能を持つQACG-BERTモデルにより、最先端の新たな結果を得る。 さらに,提案するモデルにおける文脈の影響分析を行う。 我々の研究は、文脈に基づく自然言語タスクのための事前学習された自己注意に基づく言語モデルに文脈依存性を追加するという有用性を示す。

関連論文リスト

• How Language Models Prioritize Contextual Grammatical Cues? [3.9790222241649587]
  複数のジェンダーキュー語が存在する場合、言語モデルがジェンダー合意をどのように扱うかを検討する。 この結果から,エンコーダベースのモデルとデコーダベースのモデルでは,予測にコンテキスト情報を優先し,使用する方法に顕著な違いが認められた。
  論文  参考訳（メタデータ） (2024-10-04T14:09:05Z)
• Deep Content Understanding Toward Entity and Aspect Target Sentiment Analysis on Foundation Models [0.8602553195689513]
  Entity-Aspect Sentiment Triplet extract (EASTE)は、Aspect-Based Sentiment Analysisタスクである。 本研究は,EASTEタスクにおける高性能化を目標とし,モデルサイズ,タイプ,適応技術がタスクパフォーマンスに与える影響について検討する。 最終的には、複雑な感情分析における詳細な洞察と最先端の成果を提供する。
  論文  参考訳（メタデータ） (2024-07-04T16:48:14Z)
• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• On the Role of Bidirectionality in Language Model Pre-Training [85.14614350372004]
  本研究では,次のトークン予測,テキスト入力,ゼロショットプライミング,微調整における双方向性の役割について検討する。 最大6.7Bのパラメータを持つモデルをトレーニングし、スケールで一貫性のある相違点を見つけます。
  論文  参考訳（メタデータ） (2022-05-24T02:25:05Z)
• Incorporating Dynamic Semantics into Pre-Trained Language Model for Aspect-based Sentiment Analysis [67.41078214475341]
  ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。 具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。 次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
  論文  参考訳（メタデータ） (2022-03-30T14:48:46Z)
• BERT-ASC: Auxiliary-Sentence Construction for Implicit Aspect Learning in Sentiment Analysis [4.522719296659495]
  本稿ではアスペクト分類とアスペクトベース感情サブタスクに対処する統合フレームワークを提案する。 コーパスのセマンティック情報を用いて暗黙的側面のための補助文を構築する機構を導入する。 次に、BERTはアスペクト自体ではなく、この補助文に応答してアスペクト固有の表現を学ぶことを推奨する。
  論文  参考訳（メタデータ） (2022-03-22T13:12:27Z)
• Understanding Pre-trained BERT for Aspect-based Sentiment Analysis [71.40586258509394]
  本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。 アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
  論文  参考訳（メタデータ） (2020-10-31T02:21:43Z)
• Improving BERT Performance for Aspect-Based Sentiment Analysis [3.5493798890908104]
  Aspect-Based Sentiment Analysis (ABSA)は、市場製品に関する消費者の意見を調査する。 製品レビューで表現された感情のタイプだけでなく、感情のタイプも調査する。 本稿では,提案モデルを適用することで,BERTモデルのさらなるトレーニングの必要性がなくなることを示す。
  論文  参考訳（メタデータ） (2020-10-22T13:52:18Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。