論文の概要: Does BERT look at sentiment lexicon?
- arxiv url: http://arxiv.org/abs/2111.10100v1
- Date: Fri, 19 Nov 2021 08:50:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-22 16:07:34.995849
- Title: Does BERT look at sentiment lexicon?
- Title(参考訳): BERTは感情のレキシコンを見ているか?
- Authors: Elena Razova, Sergey Vychegzhanin, Evgeny Kotelnikov
- Abstract要約: 本稿では,ロシア語RuBERTモデルの注意重み行列について検討する。
我々は感傷テキストコーパスでRuBERTを微調整し、感傷的および中立的語彙に対する注意重みの分布を比較した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The main approaches to sentiment analysis are rule-based methods and ma-chine
learning, in particular, deep neural network models with the Trans-former
architecture, including BERT. The performance of neural network models in the
tasks of sentiment analysis is superior to the performance of rule-based
methods. The reasons for this situation remain unclear due to the poor
interpretability of deep neural network models. One of the main keys to
understanding the fundamental differences between the two approaches is the
analysis of how sentiment lexicon is taken into account in neural network
models. To this end, we study the attention weights matrices of the
Russian-language RuBERT model. We fine-tune RuBERT on sentiment text corpora
and compare the distributions of attention weights for sentiment and neutral
lexicons. It turns out that, on average, 3/4 of the heads of various model
var-iants statistically pay more attention to the sentiment lexicon compared to
the neutral one.
- Abstract(参考訳): 感情分析の主なアプローチはルールベースの手法とマシーン学習、特にBERTを含むTrans-formerアーキテクチャを備えたディープニューラルネットワークモデルである。
感情分析タスクにおけるニューラルネットワークモデルの性能は,ルールベース手法の性能よりも優れている。
この状況の理由は、ディープニューラルネットワークモデルの解釈性が悪いため、いまだに不明である。
2つのアプローチの基本的な違いを理解するための鍵の1つは、ニューラルネットワークモデルにおける感情レキシコンがどのように考慮されているかの分析である。
そこで我々は,ロシア語RuBERTモデルの注意重み行列について検討した。
我々は感傷テキストコーパスでRuBERTを微調整し、感傷的および中立的語彙に対する注意重みの分布を比較した。
平均すると、様々なモデルvar-iantsの頭部の3/4は、中性よりも感情レキシコンに統計的に注意を払っている。
関連論文リスト
- Adversarial Attacks on the Interpretation of Neuron Activation
Maximization [70.5472799454224]
アクティベーション最大化アプローチは、訓練されたディープラーニングモデルの解釈と解析に使用される。
本研究では,解釈を欺くためにモデルを操作する敵の概念を考察する。
論文 参考訳(メタデータ) (2023-06-12T19:54:33Z) - Interpretable multimodal sentiment analysis based on textual modality
descriptions by using large-scale language models [1.4213973379473654]
マルチモーダル感情分析は、ユーザの内部状態を理解する上で重要な領域である。
従来の研究は、注意重みやベクトル分布を使って解釈性を提供しようと試みてきた。
本研究では,非言語的モダリティをテキスト記述に変換することによって解釈可能性を実現する手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T06:48:06Z) - Example Forgetting: A Novel Approach to Explain and Interpret Deep
Neural Networks in Seismic Interpretation [12.653673008542155]
ディープニューラルネットワークは、共通の解釈パイプラインにとって魅力的なコンポーネントです。
深層ニューラルネットワークは、モデルが訓練されていない部分に露出した場合、意味的に不正確な出力を生成するという特性のため、しばしば不信に満ちている。
本稿では,意味的誤動作予測をニューラルネットワーク表現多様体内の優雅な位置と効果的に関連付ける手法を提案する。
論文 参考訳(メタデータ) (2023-02-24T19:19:22Z) - Multitasking Models are Robust to Structural Failure: A Neural Model for
Bilingual Cognitive Reserve [78.3500985535601]
マルチタスク学習とニューロン障害に対する堅牢性との間には,驚くべき関連性がある。
実験の結果,バイリンガル言語モデルは様々なニューロン摂動下で高い性能を維持していることがわかった。
線形表現学習を数学的に解析することにより,このロバスト性を理論的に正当化する。
論文 参考訳(メタデータ) (2022-10-20T22:23:27Z) - Aspect-Based Sentiment Analysis using Local Context Focus Mechanism with
DeBERTa [23.00810941211685]
Aspect-Based Sentiment Analysis (ABSA)は、感情分析の分野におけるきめ細かいタスクである。
アスペクトベース感性分析問題を解決するための最近のDeBERTaモデル
論文 参考訳(メタデータ) (2022-07-06T03:50:31Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳(メタデータ) (2022-03-19T06:28:30Z) - Lexicon-based Methods vs. BERT for Text Sentiment Analysis [0.15293427903448023]
ロシア語に適応したSO-CALとSentiStrength lexiconに基づく手法
RuBERTはレキシコン法を平均で上回っているが、SO-CALは16の4コーパスでRuBERTを上回っている。
論文 参考訳(メタデータ) (2021-11-19T08:47:32Z) - Enhanced Aspect-Based Sentiment Analysis Models with Progressive
Self-supervised Attention Learning [103.0064298630794]
アスペクトベース感情分析(absa)では、多くのニューラルモデルに感情予測に対する各文脈単語の寄与を定量化するための注意機構が備わっている。
注目ABSAモデルに対する自己監督型注意学習の進歩的アプローチを提案する。
提案手法を3つの最先端の神経ABSAモデルに統合する。
論文 参考訳(メタデータ) (2021-03-05T02:50:05Z) - Firearm Detection via Convolutional Neural Networks: Comparing a
Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。
これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。
従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文 参考訳(メタデータ) (2020-12-17T15:19:29Z) - Effect of Word Embedding Models on Hate and Offensive Speech Detection [1.7403133838762446]
単語埋め込みモデルとニューラルネットワークアーキテクチャの両方が予測精度に与える影響について検討する。
まず、大規模なアラビア文字コーパスに複数の単語埋め込みモデルを訓練する。
検出タスク毎に、事前学習された単語埋め込みモデルを用いて、ニューラルネットワーク分類器を訓練する。
このタスクは多数の学習モデルをもたらし、徹底的な比較を可能にする。
論文 参考訳(メタデータ) (2020-11-23T02:43:45Z) - Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。
我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。
本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-08-01T00:58:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。