論文の概要: Does BERT look at sentiment lexicon?

• arxiv url: http://arxiv.org/abs/2111.10100v1
• Date: Fri, 19 Nov 2021 08:50:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-22 16:07:34.995849
• Title: Does BERT look at sentiment lexicon?
• Title（参考訳）: BERTは感情のレキシコンを見ているか?
• Authors: Elena Razova, Sergey Vychegzhanin, Evgeny Kotelnikov
• Abstract要約: 本稿では,ロシア語RuBERTモデルの注意重み行列について検討する。 我々は感傷テキストコーパスでRuBERTを微調整し、感傷的および中立的語彙に対する注意重みの分布を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The main approaches to sentiment analysis are rule-based methods and ma-chine learning, in particular, deep neural network models with the Trans-former architecture, including BERT. The performance of neural network models in the tasks of sentiment analysis is superior to the performance of rule-based methods. The reasons for this situation remain unclear due to the poor interpretability of deep neural network models. One of the main keys to understanding the fundamental differences between the two approaches is the analysis of how sentiment lexicon is taken into account in neural network models. To this end, we study the attention weights matrices of the Russian-language RuBERT model. We fine-tune RuBERT on sentiment text corpora and compare the distributions of attention weights for sentiment and neutral lexicons. It turns out that, on average, 3/4 of the heads of various model var-iants statistically pay more attention to the sentiment lexicon compared to the neutral one.
• Abstract（参考訳）: 感情分析の主なアプローチはルールベースの手法とマシーン学習、特にBERTを含むTrans-formerアーキテクチャを備えたディープニューラルネットワークモデルである。 感情分析タスクにおけるニューラルネットワークモデルの性能は,ルールベース手法の性能よりも優れている。 この状況の理由は、ディープニューラルネットワークモデルの解釈性が悪いため、いまだに不明である。 2つのアプローチの基本的な違いを理解するための鍵の1つは、ニューラルネットワークモデルにおける感情レキシコンがどのように考慮されているかの分析である。 そこで我々は,ロシア語RuBERTモデルの注意重み行列について検討した。 我々は感傷テキストコーパスでRuBERTを微調整し、感傷的および中立的語彙に対する注意重みの分布を比較した。 平均すると、様々なモデルvar-iantsの頭部の3/4は、中性よりも感情レキシコンに統計的に注意を払っている。

関連論文リスト

• Bias-Free Sentiment Analysis through Semantic Blinding and Graph Neural Networks [0.0]
  SProp GNNは、テキスト中の感情を予測するために、構文構造と単語レベルの感情的手がかりにのみ依存している。 特定の単語に関する情報にモデルを意味的に盲目にすることで、政治やジェンダーの偏見のようなバイアスに対して堅牢である。 SProp GNNは、2つの異なる予測タスクと2つの言語でのレキシコンベースの代替よりもパフォーマンスが優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-19T13:23:53Z)
• Cognitive Networks and Performance Drive fMRI-Based State Classification Using DNN Models [0.0]
  我々は、個々の認知状態を分類するために、構造的に異なる2つのDNNモデルと相補的なDNNモデルを用いる。 アーキテクチャ上の違いにもかかわらず、両者のモデルが常に予測精度と個人の認知性能との間に堅牢な関係を生んでいることを示す。
  論文  参考訳（メタデータ） (2024-08-14T15:25:51Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Example Forgetting: A Novel Approach to Explain and Interpret Deep Neural Networks in Seismic Interpretation [12.653673008542155]
  ディープニューラルネットワークは、共通の解釈パイプラインにとって魅力的なコンポーネントです。 深層ニューラルネットワークは、モデルが訓練されていない部分に露出した場合、意味的に不正確な出力を生成するという特性のため、しばしば不信に満ちている。 本稿では,意味的誤動作予測をニューラルネットワーク表現多様体内の優雅な位置と効果的に関連付ける手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T19:19:22Z)
• Multitasking Models are Robust to Structural Failure: A Neural Model for Bilingual Cognitive Reserve [78.3500985535601]
  マルチタスク学習とニューロン障害に対する堅牢性との間には,驚くべき関連性がある。 実験の結果,バイリンガル言語モデルは様々なニューロン摂動下で高い性能を維持していることがわかった。 線形表現学習を数学的に解析することにより,このロバスト性を理論的に正当化する。
  論文  参考訳（メタデータ） (2022-10-20T22:23:27Z)
• Dependency-based Mixture Language Models [53.152011258252315]
  依存性に基づく混合言語モデルを紹介する。 より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。 次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
  論文  参考訳（メタデータ） (2022-03-19T06:28:30Z)
• Lexicon-based Methods vs. BERT for Text Sentiment Analysis [0.15293427903448023]
  ロシア語に適応したSO-CALとSentiStrength lexiconに基づく手法 RuBERTはレキシコン法を平均で上回っているが、SO-CALは16の4コーパスでRuBERTを上回っている。
  論文  参考訳（メタデータ） (2021-11-19T08:47:32Z)
• Enhanced Aspect-Based Sentiment Analysis Models with Progressive Self-supervised Attention Learning [103.0064298630794]
  アスペクトベース感情分析(absa)では、多くのニューラルモデルに感情予測に対する各文脈単語の寄与を定量化するための注意機構が備わっている。 注目ABSAモデルに対する自己監督型注意学習の進歩的アプローチを提案する。 提案手法を3つの最先端の神経ABSAモデルに統合する。
  論文  参考訳（メタデータ） (2021-03-05T02:50:05Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Effect of Word Embedding Models on Hate and Offensive Speech Detection [1.7403133838762446]
  単語埋め込みモデルとニューラルネットワークアーキテクチャの両方が予測精度に与える影響について検討する。 まず、大規模なアラビア文字コーパスに複数の単語埋め込みモデルを訓練する。 検出タスク毎に、事前学習された単語埋め込みモデルを用いて、ニューラルネットワーク分類器を訓練する。 このタスクは多数の学習モデルをもたらし、徹底的な比較を可能にする。
  論文  参考訳（メタデータ） (2020-11-23T02:43:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。