Fugu-MT 論文翻訳(概要): Classifying Tweet Sentiment Using the Hidden State and Attention Matrix of a Fine-tuned BERTweet Model

論文の概要: Classifying Tweet Sentiment Using the Hidden State and Attention Matrix of a Fine-tuned BERTweet Model

arxiv url: http://arxiv.org/abs/2109.14692v1
Date: Wed, 29 Sep 2021 19:51:48 GMT
ステータス: 処理完了
システム内更新日: 2021-10-02 08:10:22.439512
Title: Classifying Tweet Sentiment Using the Hidden State and Attention Matrix of a Fine-tuned BERTweet Model
Title（参考訳）: 微調整されたbertweetモデルの隠れ状態と注意行列を用いたツイート感情の分類
Authors: Tommaso Macr\`i, Freya Murphy, Yunfan Zou, Yves Zumbach
Abstract要約: 本稿では,つぶやき感情分類に関する研究を紹介する。私たちの仕事は、ツイートをポジティブかネガティブかのどちらかに分類することです。分類に高いドロップアウト率で訓練された多層パーセプトロンを用いて,提案手法は0.9111の検証精度を実現する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces a study on tweet sentiment classification. Our task is to classify a tweet as either positive or negative. We approach the problem in two steps, namely embedding and classifying. Our baseline methods include several combinations of traditional embedding methods and classification algorithms. Furthermore, we explore the current state-of-the-art tweet analysis model, BERTweet, and propose a novel approach in which features are engineered from the hidden states and attention matrices of the model, inspired by empirical study of the tweets. Using a multi-layer perceptron trained with a high dropout rate for classification, our proposed approach achieves a validation accuracy of 0.9111.
Abstract（参考訳）: 本稿では,ツイート感情分類に関する研究を紹介する。我々の仕事はツイートをポジティブかネガティブかのどちらかに分類することだ。この問題を、埋め込みと分類という2つのステップで解決する。ベースライン手法には,従来の埋め込み手法と分類アルゴリズムの組み合わせがいくつか含まれている。さらに,現在最先端のツイート分析モデルであるbertweetを探索し,ツイートの実験的研究に着想を得た,モデルの隠れた状態と注意行列を特徴とする新しいアプローチを提案する。分類に高いドロップアウト率で訓練された多層パーセプトロンを用いて,提案手法は0.9111の検証精度を実現する。

関連論文リスト

Leveraging Annotator Disagreement for Text Classification [3.6625157427847963]
テキスト分類では、データセットが複数のアノテータによってアノテートされた場合でも、モデルトレーニングに1つのマジョリティラベルのみを使用するのが一般的である。本稿では,アノテータの不一致を利用してテキスト分類を行う3つの手法を提案する。
論文参考訳（メタデータ） (2024-09-26T06:46:53Z)
Repurposing Knowledge Graph Embeddings for Triple Representation via Weak Supervision [77.34726150561087]
現在の方法では、事前訓練されたモデルからの実体と述語埋め込みを使わずに、スクラッチから三重埋め込みを学習する。本研究では,知識グラフからトリプルを自動抽出し,事前学習した埋め込みモデルからそれらのペアの類似性を推定する手法を開発した。これらのペアの類似度スコアは、細い三重表現のためにシームズ様のニューラルネットワークに供給される。
論文参考訳（メタデータ） (2022-08-22T14:07:08Z)
Fine-Grained Visual Classification using Self Assessment Classifier [12.596520707449027]
識別的特徴の抽出は、きめ細かい視覚的分類タスクにおいて重要な役割を担っている。本稿では,画像とトップkの予測クラスを同時に活用する自己評価手法を提案する。本手法は,CUB200-2011,Stanford Dog,FGVC Aircraft のデータセットに対して,最新の結果が得られることを示す。
論文参考訳（メタデータ） (2022-05-21T07:41:27Z)
Distant finetuning with discourse relations for stance classification [55.131676584455306]
そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
論文参考訳（メタデータ） (2022-04-27T04:24:35Z)
Self-Training: A Survey [5.772546394254112]
半教師付きアルゴリズムは、ラベル付き観測の小さなセットとラベルなし観測の大きなセットから予測関数を学習することを目的としている。近年,自己学習手法が注目されていることは確かである。本稿では,バイナリクラスとマルチクラス分類のための自己学習手法と,その変種と関連する2つのアプローチを提案する。
論文参考訳（メタデータ） (2022-02-24T11:40:44Z)
Towards A Conceptually Simple Defensive Approach for Few-shot classifiers Against Adversarial Support Samples [107.38834819682315]
本研究は,数発の分類器を敵攻撃から守るための概念的簡便なアプローチについて検討する。本稿では,自己相似性とフィルタリングの概念を用いた簡易な攻撃非依存検出法を提案する。ミニイメージネット(MI)とCUBデータセットの攻撃検出性能は良好である。
論文参考訳（メタデータ） (2021-10-24T05:46:03Z)
MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
論文参考訳（メタデータ） (2021-07-23T06:57:08Z)
Sentiment analysis in tweets: an assessment study from classical to modern text representation models [59.107260266206445]
Twitterで公開された短いテキストは、豊富な情報源として大きな注目を集めている。非公式な言語スタイルや騒々しい言語スタイルといったそれらの固有の特徴は、多くの自然言語処理(NLP)タスクに挑戦し続けている。本研究では,22データセットの豊富なコレクションを用いて,ツイートに表される感情を識別する既存言語モデルの評価を行った。
論文参考訳（メタデータ） (2021-05-29T21:05:28Z)
Improving Deep Learning Sound Events Classifiers using Gram Matrix Feature-wise Correlations [1.2891210250935146]
本手法では,一般CNNの全てのアクティベーションを分析し,Gram Matricesを用いて特徴表現を生成する。提案手法はどのCNNにも適用可能であり,2つのデータセット上で4つの異なるアーキテクチャを実験的に評価した結果,ベースラインモデルが一貫して改善されることが示された。
論文参考訳（メタデータ） (2021-02-23T16:08:02Z)
Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
ディープワンクラス分類のための2段階フレームワークを提案する。まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
論文参考訳（メタデータ） (2020-11-04T23:33:41Z)
EmotionGIF-Yankee: A Sentiment Classifier with Robust Model Based Ensemble Methods [1.3382303974780296]
本稿では,頑健なモデルに基づくアンサンブル手法を用いて感情を分類する手法を提案する。このシステムは,SocialNLP 2020 EmotionGIFコンペティションにおいて,26チーム中3位にランクインした。
論文参考訳（メタデータ） (2020-07-05T07:48:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。