論文の概要: Large Language Models in Targeted Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2404.12342v1
• Date: Thu, 18 Apr 2024 17:16:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-19 12:02:22.839558
• Title: Large Language Models in Targeted Sentiment Analysis
• Title（参考訳）: ターゲット型感性分析における大規模言語モデル
• Authors: Nicolay Rusnachenko, Anton Golubev, Natalia Loukachevitch,
• Abstract要約: 命令調整型大言語モデル(LLM)の感情分析能力について検討する。 RuSentNE-2023の感情分析の最良の結果は、微調整されたFlan-T5-xlによって達成された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we investigate the use of decoder-based generative transformers for extracting sentiment towards the named entities in Russian news articles. We study sentiment analysis capabilities of instruction-tuned large language models (LLMs). We consider the dataset of RuSentNE-2023 in our study. The first group of experiments was aimed at the evaluation of zero-shot capabilities of LLMs with closed and open transparencies. The second covers the fine-tuning of Flan-T5 using the "chain-of-thought" (CoT) three-hop reasoning framework (THoR). We found that the results of the zero-shot approaches are similar to the results achieved by baseline fine-tuned encoder-based transformers (BERT-base). Reasoning capabilities of the fine-tuned Flan-T5 models with THoR achieve at least 5% increment with the base-size model compared to the results of the zero-shot experiment. The best results of sentiment analysis on RuSentNE-2023 were achieved by fine-tuned Flan-T5-xl, which surpassed the results of previous state-of-the-art transformer-based classifiers. Our CoT application framework is publicly available: https://github.com/nicolay-r/Reasoning-for-Sentiment-Analysis-Framework
• Abstract（参考訳）: 本稿では,デコーダをベースとした生成変換器を用いて,ロシアのニュース記事において,名前付きエンティティに対する感情抽出を行う。 本研究では,命令調整型大規模言語モデル(LLM)の感情分析能力について検討する。 本稿では,RuSentNE-2023のデータセットについて考察する。 最初の実験グループは、閉かつオープンな透過性を持つLDMのゼロショット能力の評価を目的とした。 2つ目は、"chain-of-thinkt" (CoT) 3-hop reasoning framework (THoR)を使用してFlan-T5の微調整をカバーしている。 その結果,ゼロショット方式の結果は,ベースライン微調整エンコーダ(BERT-base)によって得られた結果とよく似ていることがわかった。 微調整されたFlan-T5モデルのTHoRとの共振能力は、ゼロショット実験の結果と比較して、ベースサイズモデルで少なくとも5%向上する。 RuSentNE-2023の感情分析の最良の結果はFlan-T5-xlによって達成された。 https://github.com/nicolay-r/Reasoning-for-Sentiment-Analysis-Framework

関連論文リスト

• FlanEC: Exploring Flan-T5 for Post-ASR Error Correction [25.931773686829796]
  音声認識後音声認識(ASR)におけるFlan-T5を利用したエンコーダ・デコーダモデルを提案する。 我々は、n-best仮説を1つの出力文にマッピングすることで、ASR出力を強化するためのGenSECフレームワーク内での適用について検討する。 具体的には、トレーニングデータのスケールアップと多様なデータセットの導入が、ASR後のエラー修正の大幅な改善につながるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-01-22T16:06:04Z)
• Quantized Transformer Language Model Implementations on Edge Devices [1.2979415757860164]
  Bidirectional Representations from Transformers (BERT) のような大規模なトランスフォーマーベースモデルは自然言語処理(NLP)アプリケーションに広く利用されている。 これらのモデルは最初、数百万のパラメータを持つ大きなコーパスで事前訓練され、下流のNLPタスクのために微調整される。 これらの大規模モデルの大きな制限の1つは、大きなモデルサイズと推論遅延の増加のため、リソース制限されたデバイスにデプロイできないことである。
  論文  参考訳（メタデータ） (2023-10-06T01:59:19Z)
• Model-Generated Pretraining Signals Improves Zero-Shot Generalization of Text-to-Text Transformers [98.30298332661323]
  本稿では,T5などのテキスト変換器のゼロショット一般化におけるモデル生成信号の有効性について検討する。 我々は新しいモデルMETRO-T0を開発し、ELECTRA-Style事前学習戦略を用いて事前訓練を行い、次にNLPタスクの混合を即時微調整する。 その結果,METRO-T0の有効性は,パラメータのよりバランスの取れた寄与と,それらの能力の有効利用に起因していることが判明した。
  論文  参考訳（メタデータ） (2023-05-21T21:06:23Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• The Flan Collection: Designing Data and Methods for Effective Instruction Tuning [118.70716915295091]
  本研究は,Flan 2022の開発を壊し,一般公開された指導チューニング手法の設計決定について検討する。 タスクバランスやエンリッチメントの手法は見過ごされがちだが、効果的な指導チューニングには不可欠である。 インストラクションチューニングの研究を加速するために、データセット、テンプレート、メソッドのFlan 2022コレクションを公開しています。
  論文  参考訳（メタデータ） (2023-01-31T15:03:44Z)
• T5Score: Discriminative Fine-tuning of Generative Evaluation Metrics [94.69907794006826]
  我々は、現在利用可能なデータから、教師なし信号と教師なし信号の両方を用いて、両方の世界のベストを結合するフレームワークを提案する。 このアイデアを,mT5をバックボーンとするトレーニング信号を使用するメトリックであるT5Scoreをトレーニングすることで,運用する。 T5Scoreは、セグメントレベルの既存のトップスコアメトリクスに対して、すべてのデータセットで最高のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-12-12T06:29:04Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。