論文の概要: Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis
and Natural Language Inference
- arxiv url: http://arxiv.org/abs/2002.04815v1
- Date: Wed, 12 Feb 2020 06:11:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 19:02:20.959192
- Title: Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis
and Natural Language Inference
- Title（参考訳）: BERT中間層を用いたアスペクトベース感性分析と自然言語推論
- Authors: Youwei Song, Jiahai Wang, Zhiwei Liang, Zhiyue Liu, Tao Jiang
- Abstract要約: 本稿では,BERTの微調整性能を高めるため,BERT中間層を活用する可能性について検討する。
一般性を示すために,本手法を自然言語推論タスクに適用する。
- 参考スコア（独自算出の注目度）: 19.638239426995973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aspect based sentiment analysis aims to identify the sentimental tendency
towards a given aspect in text. Fine-tuning of pretrained BERT performs
excellent on this task and achieves state-of-the-art performances. Existing
BERT-based works only utilize the last output layer of BERT and ignore the
semantic knowledge in the intermediate layers. This paper explores the
potential of utilizing BERT intermediate layers to enhance the performance of
fine-tuning of BERT. To the best of our knowledge, no existing work has been
done on this research. To show the generality, we also apply this approach to a
natural language inference task. Experimental results demonstrate the
effectiveness and generality of the proposed approach.
- Abstract（参考訳）: アスペクトに基づく感情分析は、テキストの特定の側面に対する感情傾向を特定することを目的としている。
事前訓練されたBERTの微調整は、このタスクに優れ、最先端のパフォーマンスを達成する。
既存のBERTベースの作業はBERTの最後の出力層のみを使用し、中間層における意味的な知識を無視する。
本稿では,BERTの微調整性能を高めるため,BERT中間層を活用する可能性について検討する。
私たちの知る限りでは、この研究に関する既存の研究は行われていません。
汎用性を示すために、自然言語推論タスクにもこのアプローチを適用します。
実験の結果,提案手法の有効性と汎用性を示した。
関連論文リスト
- Incorporating Dynamic Semantics into Pre-Trained Language Model for
Aspect-based Sentiment Analysis [67.41078214475341]
ABSAの動的アスペクト指向セマンティクスを学ぶために,DR-BERT(Dynamic Re-weighting BERT)を提案する。
具体的には、まずStack-BERT層を主エンコーダとして、文の全体的な意味を理解する。
次に、軽量な動的再重み付けアダプタ(DRA)を導入して微調整する。
論文 参考訳（メタデータ） (2022-03-30T14:48:46Z) - Knowledge-Rich BERT Embeddings for Readability Assessment [0.0]
本稿では,BERTモデルの情報豊富な埋め込みを共同学習手法により活用する方法を提案する。
提案手法は,英語とフィリピン語のデータセットを用いた可読性評価において,従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2021-06-15T07:37:48Z) - An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text [72.62848911347466]
EHRにおける非構造化臨床テキストには、意思決定支援、トライアルマッチング、振り返り研究を含むアプリケーションにとって重要な情報が含まれている。
最近の研究は、これらのモデルが他のNLPドメインにおける最先端の性能を考慮し、BERTベースのモデルを臨床情報抽出およびテキスト分類に応用している。
本稿では,SnipBERTという新しい微調整手法を提案する。SnipBERTは全音符を使用する代わりに,重要なスニペットを識別し,階層的に切り刻まれたBERTベースのモデルに供給する。
論文 参考訳（メタデータ） (2020-11-12T17:14:32Z) - On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。
BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。
本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
論文 参考訳（メタデータ） (2020-11-02T13:14:57Z) - Understanding Pre-trained BERT for Aspect-based Sentiment Analysis [71.40586258509394]
本稿では、アスペクトベース感情分析(ABSA)におけるタスクに対するBERTのレビューから得られた事前学習された隠れ表現について分析する。
アスペクトや意見のアノテーションなしでラベル付けされていないコーパスでトレーニングされた(マスクされた)言語モデルの一般的なプロキシタスクが、ABSAの下流タスクにどのように重要な機能を提供するかは明らかではない。
論文 参考訳（メタデータ） (2020-10-31T02:21:43Z) - Exploring Cross-sentence Contexts for Named Entity Recognition with BERT [1.4998865865537996]
本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。
BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が向上することがわかった。
そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
論文 参考訳（メタデータ） (2020-06-02T12:34:52Z) - Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。
我々は,構文的 LM から単語の周辺分布を抽出する。
本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
論文 参考訳（メタデータ） (2020-05-27T16:44:01Z) - Comparing BERT against traditional machine learning text classification [0.0]
BERTモデルは近年、最先端の機械学習モデルとして人気を博している。
本研究の目的は,NLPタスクのデフォルトとしてBERTの使用を支持するか拒否する経験的エビデンスを追加することである。
論文 参考訳（メタデータ） (2020-05-26T20:14:39Z) - Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。
本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
論文 参考訳（メタデータ） (2020-02-24T16:17:12Z) - Adversarial Training for Aspect-Based Sentiment Analysis with BERT [3.5493798890908104]
本稿では,感情分析における敵対的トレーニングを活用するため,BERT Adrial Training (BAT) と呼ばれる新しいアーキテクチャを提案する。
提案したモデルは、両方のタスクにおいて、ポストトレーニング後のBERTよりも優れている。
我々の知る限りでは、ABSAにおける対人訓練の適用に関する最初の研究である。
論文 参考訳（メタデータ） (2020-01-30T13:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。