論文の概要: Sentiment-Aware Word and Sentence Level Pre-training for Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2210.09803v2
• Date: Wed, 19 Oct 2022 12:22:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 14:02:26.341918
• Title: Sentiment-Aware Word and Sentence Level Pre-training for Sentiment Analysis
• Title（参考訳）: 感性分析のための感性認識語と文レベルの事前学習
• Authors: Shuai Fan, Chen Lin, Haonan Li, Zhenghao Lin, Jinsong Su, Hang Zhang, Yeyun Gong, Jian Guo, Nan Duan
• Abstract要約: SentiWSPは、WordレベルとSentenceレベルの事前トレーニングタスクを組み合わせた、Sentiment対応の事前トレーニング言語モデルである。 SentiWSPは、様々な文レベルおよびアスペクトレベルの感情分類ベンチマーク上で、最先端のパフォーマンスを新たに達成する。
• 参考スコア（独自算出の注目度）: 64.70116276295609
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most existing pre-trained language representation models (PLMs) are sub-optimal in sentiment analysis tasks, as they capture the sentiment information from word-level while under-considering sentence-level information. In this paper, we propose SentiWSP, a novel Sentiment-aware pre-trained language model with combined Word-level and Sentence-level Pre-training tasks. The word level pre-training task detects replaced sentiment words, via a generator-discriminator framework, to enhance the PLM's knowledge about sentiment words. The sentence level pre-training task further strengthens the discriminator via a contrastive learning framework, with similar sentences as negative samples, to encode sentiments in a sentence. Extensive experimental results show that SentiWSP achieves new state-of-the-art performance on various sentence-level and aspect-level sentiment classification benchmarks. We have made our code and model publicly available at https://github.com/XMUDM/SentiWSP.
• Abstract（参考訳）: 既存の事前訓練された言語表現モデル(PLM)は、感情分析タスクにおいて、文章レベルの情報に基づいて単語レベルから感情情報をキャプチャする。 本稿では,単語レベルと文レベルの事前学習タスクを組み合わせた,感情認識型事前学習言語モデルsentiwspを提案する。 単語レベルの事前学習タスクは、感情語に関するplmの知識を強化するために、ジェネレータ・判別フレームワークを介して、置換された感情語を検出する。 文レベルの事前学習タスクは、類似した文を否定的なサンプルとして、比較学習フレームワークを介して識別者をさらに強化し、文中の感情をエンコードする。 実験結果から,SentiWSPは様々な文レベルおよびアスペクトレベルの感情分類ベンチマークにおいて,新たな最先端性能を実現することが示された。 私たちはコードとモデルをhttps://github.com/XMUDM/SentiWSP.comで公開しました。

関連論文リスト

• FRACTAL: Fine-Grained Scoring from Aggregate Text Labels [17.052047103156372]
  大規模言語モデル(LLM)は、書き込み、ファクト検索、クエリ、推論といった複雑な生成タスクをパワーアップするように調整されている。 伝統的に、LLM性能の評価とチューニングのための人間またはモデルフィードバックが応答レベルで提供されてきた。 最近の研究は、文レベルのラベルがLLM最適化のためのより正確で解釈可能なフィードバックを提供する可能性を示唆している。
  論文  参考訳（メタデータ） (2024-04-07T05:54:28Z)
• SentiCSE: A Sentiment-aware Contrastive Sentence Embedding Framework with Sentiment-guided Textual Similarity [12.954271451359222]
  感性認識型事前学習言語モデル(PLM)は、下流の感情分析タスクにおいて顕著な結果を示す。 本稿では,感情表現の質を評価するための新しい指標である感性誘導テキスト類似度(SgTS)を提案する。 次に、感性表現を構築するための新しい感性認識コントラスト文埋め込みフレームワークであるSentiCSEを提案する。
  論文  参考訳（メタデータ） (2024-04-01T13:24:20Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Zero-shot Aspect-level Sentiment Classification via Explicit Utilization of Aspect-to-Document Sentiment Composition [13.955534334487618]
  本研究では,文書レベルのレビューのみを用いて,ゼロショットのアスペクトレベルの感情分類を実現する。 我々の重要な直感は、文書の感情表現が、その文書のすべての側面の感情表現から成り立っていることである。 AF-DSCはまずすべての潜在的側面に対する感情表現を学習し、その後、アスペクトレベルの感情を文書レベルの感情分類に集約し、文書レベルの感情分類を行う。
  論文  参考訳（メタデータ） (2022-09-06T08:02:55Z)
• KESA: A Knowledge Enhanced Approach For Sentiment Analysis [13.937274761540925]
  文レベルの感情分析について検討し、感情語クローゼと条件付き感情予測という2つの感情認識補助課題を提案する。 実験結果から,本手法はトレーニング済みモデルよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-02-24T13:21:27Z)
• To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP [0.0]
  本稿では,構文の変更を行うテキスト拡張手法の3つのカテゴリについて検討する。 音声のタグ付けや依存性解析,セマンティックロールのラベル付けなどにおいて,多種多様な言語ファミリに対して比較を行った。 以上の結果から,mBERTに基づくベースラインの強化により,より高機能化が可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-18T10:52:48Z)
• UCPhrase: Unsupervised Context-aware Quality Phrase Tagging [63.86606855524567]
  UCPhraseは、教師なしの文脈対応のフレーズタグである。 我々は,一貫した単語列から,高品質なフレーズを銀のラベルとして表現する。 我々の設計は、最先端の事前訓練、教師なし、遠隔管理の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T19:44:24Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• SKEP: Sentiment Knowledge Enhanced Pre-training for Sentiment Analysis [69.80296394461149]
  本稿では,複数の感情分析タスクに対する統一的な感情表現を学習するために,感覚知識強化事前学習(SKEP)を導入する。 自動的な知識の助けを借りて、SKEPは感情マスキングを行い、3つの感情知識予測目標を構築する。 3種類の感情タスクの実験では、SKEPはトレーニング前ベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2020-05-12T09:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。