論文の概要: Self-training Strategies for Sentiment Analysis: An Empirical Study
- arxiv url: http://arxiv.org/abs/2309.08777v2
- Date: Sun, 4 Feb 2024 00:52:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 05:04:23.657838
- Title: Self-training Strategies for Sentiment Analysis: An Empirical Study
- Title(参考訳): 感覚分析のための自己学習方略:実証的研究
- Authors: Haochen Liu, Sai Krishna Rallabandi, Yijing Wu, Parag Pravin Dakle,
Preethi Raghavan
- Abstract要約: 自己学習は感情分析モデルを開発するための経済的かつ効率的な手法である。
いくつかの自己学習戦略と大規模言語モデルの介入を比較した。
- 参考スコア(独自算出の注目度): 7.416913210816592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sentiment analysis is a crucial task in natural language processing that
involves identifying and extracting subjective sentiment from text.
Self-training has recently emerged as an economical and efficient technique for
developing sentiment analysis models by leveraging a small amount of labeled
data and a large amount of unlabeled data. However, given a set of training
data, how to utilize them to conduct self-training makes a significant
difference in the final performance of the model. We refer to this methodology
as the self-training strategy. In this paper, we present an empirical study of
various self-training strategies for sentiment analysis. First, we investigate
the influence of the self-training strategy and hyper-parameters on the
performance of traditional small language models (SLMs) in various few-shot
settings. Second, we also explore the feasibility of leveraging large language
models (LLMs) to help self-training. We propose and empirically compare several
self-training strategies with the intervention of LLMs. Extensive experiments
are conducted on three real-world sentiment analysis datasets.
- Abstract(参考訳): 感性分析は、テキストから主観的感情を識別し抽出する自然言語処理において重要な課題である。
近年,少量のラベル付きデータと大量のラベルなしデータを活用することで感情分析モデルを構築するための,経済的かつ効率的な手法として自己学習が登場している。
しかしながら、一連のトレーニングデータを考えると、それらを使って自己学習を行う方法は、モデルの最終的なパフォーマンスに大きな違いをもたらす。
我々はこの方法論を自己学習戦略と呼ぶ。
本稿では,感情分析のための様々な自己学習戦略に関する実証研究を行う。
まず,従来型小型言語モデル(slms)の性能に及ぼす自己学習戦略とハイパーパラメータの影響について検討する。
第2に,大規模言語モデル(LLM)を活用した自己学習の可能性についても検討する。
我々は,複数の自己学習戦略とLPMの介入を実験的に比較した。
3つの実世界感情分析データセットで大規模な実験を行う。
関連論文リスト
- Order Matters in the Presence of Dataset Imbalance for Multilingual
Learning [53.74649778447903]
本稿では,高リソースタスクの事前学習をシンプルかつ効果的に行う方法と,高リソースタスクと低リソースタスクの混合による微調整について述べる。
ニューラルネットワーク翻訳(NMT)と多言語言語モデリングの改善について述べる。
論文 参考訳(メタデータ) (2023-12-11T05:46:57Z) - An Analysis of Initial Training Strategies for Exemplar-Free
Class-Incremental Learning [36.619804184427245]
CIL(Class-Incremental Learning)は、データストリームから分類モデルを構築することを目的としている。
破滅的な忘れ物のため、過去のクラスの例を保存できない場合、CILは特に困難である。
大量のデータに対する自己管理的な方法で事前訓練されたモデルの使用は、最近勢いを増している。
論文 参考訳(メタデータ) (2023-08-22T14:06:40Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-06-23T17:59:09Z) - Comparative layer-wise analysis of self-supervised speech models [29.258085176788097]
標準相関解析(CCA)に基づく軽量解析ツールを用いて、各層に符号化された音響・音声・単語レベルの特性を測定する。
これらの特性は、モデルによって異なる層間で進化し、その変動は事前学習対象の選択に関係している。
CCAのトレンドは、下流タスクの関心層を選択するための信頼性の高いガイダンスを提供し、シングルレイヤのパフォーマンスがすべてのレイヤで一致または改善されることに気付き、事前学習されたモデルをより効率的に使用するための意味を示唆している。
論文 参考訳(メタデータ) (2022-11-08T00:59:05Z) - Transfer Learning with Joint Fine-Tuning for Multimodal Sentiment
Analysis [0.6091702876917281]
感情分析にジョイントファインチューニングを用いたトランスファーラーニング手法を提案する。
本提案では,テキストと画像の事前学習モデルを共同調整段階に組み込む際の柔軟性について述べる。
論文 参考訳(メタデータ) (2022-10-11T21:16:14Z) - Aspect-Based Sentiment Analysis using Local Context Focus Mechanism with
DeBERTa [23.00810941211685]
Aspect-Based Sentiment Analysis (ABSA)は、感情分析の分野におけるきめ細かいタスクである。
アスペクトベース感性分析問題を解決するための最近のDeBERTaモデル
論文 参考訳(メタデータ) (2022-07-06T03:50:31Z) - Self-training with Few-shot Rationalization: Teacher Explanations Aid
Student in Few-shot NLU [88.8401599172922]
タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。
ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
論文 参考訳(メタデータ) (2021-09-17T00:36:46Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。
我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。
我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文 参考訳(メタデータ) (2020-10-24T04:30:02Z) - Instance-Based Learning of Span Representations: A Case Study through
Named Entity Recognition [48.06319154279427]
本研究では,スパン間の類似性を学習するインスタンスベースの学習手法を提案する。
本手法では,性能を犠牲にすることなく高い解釈性を持つモデルを構築することができる。
論文 参考訳(メタデータ) (2020-04-29T23:32:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。