Fugu-MT 論文翻訳(概要): Pretraining and Fine-Tuning Strategies for Sentiment Analysis of Latvian Tweets

論文の概要: Pretraining and Fine-Tuning Strategies for Sentiment Analysis of Latvian Tweets

arxiv url: http://arxiv.org/abs/2010.12401v1
Date: Fri, 23 Oct 2020 13:45:33 GMT
ステータス: 処理完了
システム内更新日: 2022-10-03 22:34:37.839963
Title: Pretraining and Fine-Tuning Strategies for Sentiment Analysis of Latvian Tweets
Title（参考訳）: ラトビアツイートの知覚分析のための事前学習と微調整戦略
Authors: Gaurish Thakkar, Marcis Pinnis
Abstract要約: 本稿では,感情分類タスクの精度を即時向上するための事前学習戦略について紹介する。我々はラトビアのツイートの精度を76%の精度で予測する。
参考スコア（独自算出の注目度）: 0.38073142980733
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this paper, we present various pre-training strategies that aid in im-proving the accuracy of the sentiment classification task. We, at first, pre-trainlanguage representation models using these strategies and then fine-tune them onthe downstream task. Experimental results on a time-balanced tweet evaluation setshow the improvement over the previous technique. We achieve 76% accuracy forsentiment analysis on Latvian tweets, which is a substantial improvement over pre-vious work
Abstract（参考訳）: 本稿では,感情分類タスクの精度向上を支援する様々な事前学習戦略を提案する。最初は、これらの戦略を使った事前学習表現モデルを使って、下流タスクでそれらを微調整しました。時間均衡ツイート評価セットにおける実験結果は,先行手法に対する改善を示す。我々は,ラトビア語ツイートの76%の精度向上を実現した。

関連論文リスト

Ensembling Finetuned Language Models for Text Classification [55.15643209328513]
ファインタニング(英: Finetuning)は、特定のタスクに事前訓練されたモデルを適用するために、様々なコミュニティで一般的なプラクティスである。ニューラルネットワークのアンサンブルは、通常、パフォーマンスを高め、信頼性の高い不確実性推定を提供するために使用される。 6つのデータセット上の5つの大きめのモデルから予測されたメタデータセットを提示し、異なるアンサンブル戦略の結果を報告する。
論文参考訳（メタデータ） (2024-10-25T09:15:54Z)
ZZU-NLP at SIGHAN-2024 dimABSA Task: Aspect-Based Sentiment Analysis with Coarse-to-Fine In-context Learning [0.36332383102551763]
DimABSAタスクはレストランレビューに微妙な感情強度予測を必要とする。そこで本稿では,DimABSAタスクに対するBaichuan2-7Bモデルに基づく大まかなインコンテクスト学習手法を提案する。
論文参考訳（メタデータ） (2024-07-22T02:54:46Z)
The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
論文参考訳（メタデータ） (2024-04-01T16:00:01Z)
Self-training Strategies for Sentiment Analysis: An Empirical Study [7.416913210816592]
自己学習は感情分析モデルを開発するための経済的かつ効率的な手法である。いくつかの自己学習戦略と大規模言語モデルの介入を比較した。
論文参考訳（メタデータ） (2023-09-15T21:42:46Z)
UZH_CLyp at SemEval-2023 Task 9: Head-First Fine-Tuning and ChatGPT Data Generation for Cross-Lingual Learning in Tweet Intimacy Prediction [3.1798318618973362]
本稿では,SemEval 2023 Task 9「Multilingual Tweet Intimacy Analysis」に対するUZH_CLypの提出について述べる。公式なピアソン相関回帰評価尺度により,全10言語で2番目に高い結果を得た。
論文参考訳（メタデータ） (2023-03-02T12:18:53Z)
Training Strategies for Improved Lip-reading [61.661446956793604]
本研究では,最先端データ拡張手法,時間モデル,その他のトレーニング戦略の性能について検討する。すべての手法を組み合わせると、分類精度は93.4%となり、現在の最先端技術よりも4.6%向上した。各種学習手法の誤り解析により, 難解な単語の分類精度を高めることにより, 性能が向上することが明らかとなった。
論文参考訳（メタデータ） (2022-09-03T09:38:11Z)
Improving Neural Machine Translation by Denoising Training [95.96569884410137]
本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
論文参考訳（メタデータ） (2022-01-19T00:11:38Z)
Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文参考訳（メタデータ） (2021-11-24T06:18:32Z)
TweetEval: Unified Benchmark and Comparative Evaluation for Tweet Classification [22.265865542786084]
異種Twitter固有の7つの分類タスクからなる新しい評価フレームワーク(TweetEval)を提案する。最初の実験では、既存の訓練済みの汎用言語モデルから始めることの有効性を示した。
論文参考訳（メタデータ） (2020-10-23T14:11:04Z)
Multi-Stage Influence Function [97.19210942277354]
我々は、事前学習データまで遡って、微調整されたモデルから予測を追跡するための多段階影響関数スコアを開発する。本研究は,2つのシナリオについて検討し,事前訓練した埋め込みを微調整タスクで固定または更新する。
論文参考訳（メタデータ） (2020-07-17T16:03:11Z)
Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
論文参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。