論文の概要: Adversarial Training for Aspect-Based Sentiment Analysis with BERT
- arxiv url: http://arxiv.org/abs/2001.11316v4
- Date: Fri, 23 Oct 2020 07:39:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 11:27:23.491489
- Title: Adversarial Training for Aspect-Based Sentiment Analysis with BERT
- Title(参考訳): BERTを用いたアスペクトベース感性分析のための逆トレーニング
- Authors: Akbar Karimi, Leonardo Rossi, Andrea Prati
- Abstract要約: 本稿では,感情分析における敵対的トレーニングを活用するため,BERT Adrial Training (BAT) と呼ばれる新しいアーキテクチャを提案する。
提案したモデルは、両方のタスクにおいて、ポストトレーニング後のBERTよりも優れている。
我々の知る限りでは、ABSAにおける対人訓練の適用に関する最初の研究である。
- 参考スコア(独自算出の注目度): 3.5493798890908104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aspect-Based Sentiment Analysis (ABSA) deals with the extraction of
sentiments and their targets. Collecting labeled data for this task in order to
help neural networks generalize better can be laborious and time-consuming. As
an alternative, similar data to the real-world examples can be produced
artificially through an adversarial process which is carried out in the
embedding space. Although these examples are not real sentences, they have been
shown to act as a regularization method which can make neural networks more
robust. In this work, we apply adversarial training, which was put forward by
Goodfellow et al. (2014), to the post-trained BERT (BERT-PT) language model
proposed by Xu et al. (2019) on the two major tasks of Aspect Extraction and
Aspect Sentiment Classification in sentiment analysis. After improving the
results of post-trained BERT by an ablation study, we propose a novel
architecture called BERT Adversarial Training (BAT) to utilize adversarial
training in ABSA. The proposed model outperforms post-trained BERT in both
tasks. To the best of our knowledge, this is the first study on the application
of adversarial training in ABSA.
- Abstract(参考訳): Aspect-Based Sentiment Analysis (ABSA) は感情とその対象の抽出を扱う。
このタスクのためのラベル付きデータ収集は、ニューラルネットワークの一般化を支援するため、手間と時間がかかります。
代替として、実世界の例と類似したデータは、埋め込み空間で実行される逆プロセスを通じて人工的に生成することができる。
これらの例は実際の文ではないが、ニューラルネットワークをより堅牢にするための正規化手法として機能することが示されている。
本研究は,Goodfellow et al. (2014), Xu et al. (2019) が提案したポストトレーニング後のBERT (BERT-PT) 言語モデルに対して,感情分析におけるアスペクト抽出とアスペクト知覚分類の2つの主要なタスクに適用する。
Ablation study を用いて, BERT の術後成績を改善した上で, ABSA の対人訓練を利用する BERT Adversarial Training (BAT) と呼ばれる新しいアーキテクチャを提案する。
提案されたモデルは、両方のタスクでトレーニング後のbertよりも優れています。
我々の知る限りでは、ABSAにおける対人訓練の適用に関する最初の研究である。
関連論文リスト
- Unsupervised Dense Retrieval with Relevance-Aware Contrastive
Pre-Training [81.3781338418574]
関連性を考慮したコントラスト学習を提案する。
我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。
本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
論文 参考訳(メタデータ) (2023-06-05T18:20:27Z) - RLIP: Relational Language-Image Pre-training for Human-Object
Interaction Detection [32.20132357830726]
言語画像事前学習(Language- Image Pre-Training、LIPR)は、エンティティと関係記述の両方を活用するコントラスト事前学習の戦略である。
RLIP-ParSeと呼ばれるこれらのコントリビューションの利点は、ゼロショット、少数ショット、微調整のHOI検出の改善、およびノイズアノテーションからの堅牢性の向上である。
論文 参考訳(メタデータ) (2022-09-05T07:50:54Z) - Unified Instance and Knowledge Alignment Pretraining for Aspect-based
Sentiment Analysis [96.53859361560505]
Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。
事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。
我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
論文 参考訳(メタデータ) (2021-10-26T04:03:45Z) - Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for
Open-Set Semi-Supervised Learning [101.28281124670647]
オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。
我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。
我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
論文 参考訳(メタデータ) (2021-08-12T09:14:44Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-07-01T09:26:13Z) - Understanding Pre-trained BERT for Aspect-based Sentiment Analysis [71.40586258509394]
本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。
アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
論文 参考訳(メタデータ) (2020-10-31T02:21:43Z) - Improving BERT Performance for Aspect-Based Sentiment Analysis [3.5493798890908104]
Aspect-Based Sentiment Analysis (ABSA)は、市場製品に関する消費者の意見を調査する。
製品レビューで表現された感情のタイプだけでなく、感情のタイプも調査する。
本稿では,提案モデルを適用することで,BERTモデルのさらなるトレーニングの必要性がなくなることを示す。
論文 参考訳(メタデータ) (2020-10-22T13:52:18Z) - Entity and Evidence Guided Relation Extraction for DocRED [33.69481141963074]
この課題に対して,共同トレーニングフレームワークE2GRE(Entity and Evidence Guided Relation extract)を提案する。
事前訓練された言語モデル(例えばBERT, RoBERTa)への入力としてエンティティ誘導シーケンスを導入する。
これらのエンティティ誘導シーケンスは、事前訓練された言語モデル(LM)がエンティティに関連するドキュメントの領域に集中するのに役立ちます。
我々は最近リリースされた関係抽出のための大規模データセットDocREDに対するE2GREアプローチを評価した。
論文 参考訳(メタデータ) (2020-08-27T17:41:23Z) - Adversarial Learning for Supervised and Semi-supervised Relation
Extraction in Biomedical Literature [2.8881198461098894]
逆行訓練は、訓練過程における逆行例を含むことにより、モデル性能を改善する技術である。
本稿では,関係抽出作業の便宜を図るために,複数の対角的事例を用いた対角的訓練について検討する。
また,ラベルのないデータを活用するために,半教師付きシナリオに逆トレーニング手法を適用した。
論文 参考訳(メタデータ) (2020-05-08T20:19:26Z) - Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。
本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
論文 参考訳(メタデータ) (2020-02-24T16:17:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。