論文の概要: Motamot: A Dataset for Revealing the Supremacy of Large Language Models over Transformer Models in Bengali Political Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2407.19528v1
• Date: Sun, 28 Jul 2024 16:34:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 17:42:21.033185
• Title: Motamot: A Dataset for Revealing the Supremacy of Large Language Models over Transformer Models in Bengali Political Sentiment Analysis
• Title（参考訳）: モタモット:ベンガル政治感性分析における変圧器モデルによる大規模言語モデルの優位性を明らかにするデータセット
• Authors: Fatema Tuj Johora Faria, Mukaffi Bin Moin, Rabeya Islam Mumu, Md Mahabubul Alam Abir, Abrar Nawar Alfy, Mohammad Shafiul Alam,
• Abstract要約: 政治的感情を分析することは、特に選挙期間中の世論過程の複雑さを理解するために重要である。 本研究は, 肯定的, 否定的な感情を付加した7,058件からなる「モタモット」データセットの作成に焦点を当てた。 バングラバート,バングラバートベース,XLM-RoBERTa,mBERT,sahajBERT,およびジェミニ1.5 Pro,GPT3.5 TurboなどのPLMの性能評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentiment analysis is the process of identifying and categorizing people's emotions or opinions regarding various topics. Analyzing political sentiment is critical for understanding the complexities of public opinion processes, especially during election seasons. It gives significant information on voter preferences, attitudes, and current trends. In this study, we investigate political sentiment analysis during Bangladeshi elections, specifically examining how effectively Pre-trained Language Models (PLMs) and Large Language Models (LLMs) capture complex sentiment characteristics. Our study centers on the creation of the "Motamot" dataset, comprising 7,058 instances annotated with positive and negative sentiments, sourced from diverse online newspaper portals, forming a comprehensive resource for political sentiment analysis. We meticulously evaluate the performance of various PLMs including BanglaBERT, Bangla BERT Base, XLM-RoBERTa, mBERT, and sahajBERT, alongside LLMs such as Gemini 1.5 Pro and GPT 3.5 Turbo. Moreover, we explore zero-shot and few-shot learning strategies to enhance our understanding of political sentiment analysis methodologies. Our findings underscore BanglaBERT's commendable accuracy of 88.10% among PLMs. However, the exploration into LLMs reveals even more promising results. Through the adept application of Few-Shot learning techniques, Gemini 1.5 Pro achieves an impressive accuracy of 96.33%, surpassing the remarkable performance of GPT 3.5 Turbo, which stands at 94%. This underscores Gemini 1.5 Pro's status as the superior performer in this comparison.
• Abstract（参考訳）: 感情分析は、人々の感情や様々なトピックに関する意見を特定し分類するプロセスである。 政治的感情を分析することは、特に選挙期間中の世論過程の複雑さを理解するために重要である。 投票者の好み、態度、現在の傾向について重要な情報を提供する。 本研究ではバングラデシュ選挙における政治的感情分析について検討し、特にプレトレーニング言語モデル(PLM)と大規模言語モデル(LLM)が複雑な感情特性をいかに効果的に捉えているかを検討する。 本研究は,様々なオンライン新聞ポータルから得られた肯定的・否定的な感情を付加した7,058件の「モタモット」データセットを作成し,政治的感情分析のための総合的な資料を作成することに焦点を当てた。 我々は,Gemini 1.5 Pro や GPT 3.5 Turbo などの LLM とともに BanglaBERT, Bangla BERT Base, XLM-RoBERTa, mBERT, sahajBERT など様々な PLM の性能評価を行った。 さらに、政治感情分析手法の理解を深めるために、ゼロショットと少数ショットの学習戦略を検討する。 以上の結果からBanglaBERTの推奨精度は88.10%であった。 しかし、LSMの探索により、さらに有望な結果が明らかとなった。 Gemini 1.5 ProはFew-Shot学習技術の適用により96.33%の精度を達成し、GPT 3.5 Turboの性能は94%を突破した。 この比較では、ジェミニ1.5 Proが優れたパフォーマーとしての地位を誇っている。

関連論文リスト

• Representation Bias in Political Sample Simulations with Large Language Models [54.48283690603358]
  本研究は,大規模言語モデルを用いた政治サンプルのシミュレーションにおけるバイアスの同定と定量化を目的とする。 GPT-3.5-Turboモデルを用いて、米国選挙研究、ドイツ縦割り選挙研究、ズオビアオデータセット、中国家族パネル研究のデータを活用する。
  論文  参考訳（メタデータ） (2024-07-16T05:52:26Z)
• Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
  我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。 強制されない場合、モデルが実質的に異なる答えを与えることを示す。 我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
  論文  参考訳（メタデータ） (2024-02-26T18:00:49Z)
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts [54.07541591018305]
  提案するMAD-Benchは,既存のオブジェクト,オブジェクト数,空間関係などの5つのカテゴリに分割した1000の試験サンプルを含むベンチマークである。 我々は,GPT-4v,Reka,Gemini-Proから,LLaVA-NeXTやMiniCPM-Llama3といったオープンソースモデルに至るまで,一般的なMLLMを包括的に分析する。 GPT-4oはMAD-Bench上で82.82%の精度を達成するが、実験中の他のモデルの精度は9%から50%である。
  論文  参考訳（メタデータ） (2024-02-20T18:31:27Z)
• Harnessing Large Language Models Over Transformer Models for Detecting Bengali Depressive Social Media Text: A Comprehensive Study [0.0]
  本研究は, GPT 3.5, GPT 4 および提案した GPT 3.5 微調整モデル DepGPT を用いた抑うつの早期検出に焦点を当てた。 この研究はRedditとXのデータセットを「抑うつ」と「非抑うつ」のセグメントに分類し、ベンガル語に翻訳した。 我々の研究は、各モデルに対する完全なアーキテクチャの詳細と、ベンガルの抑うつ的テキスト分類におけるそれらのパフォーマンスを評価するための方法論的な方法を提供する。
  論文  参考訳（メタデータ） (2024-01-14T15:15:58Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• RSM-NLP at BLP-2023 Task 2: Bangla Sentiment Analysis using Weighted and Majority Voted Fine-Tuned Transformers [2.048226951354646]
  本稿では,BLP Workshop - Sentiment Analysis of Bangla Social Media Postsで行った投稿に対するアプローチについて述べる。 マルチクラス分類タスクでは0.711, 共有タスクでは10位となった。
  論文  参考訳（メタデータ） (2023-10-22T10:55:56Z)
• Large Language Models for Propaganda Detection [2.587450057509126]
  本研究では,プロパガンダ検出におけるLarge Language Models(LLMs)の有効性について検討した。 GPT-3とGPT-4の5つのバリエーションが採用され、様々な迅速な技術と微調整戦略が取り入れられた。 以上の結果から, GPT-4は現在の最先端技術と同等の結果が得られた。
  論文  参考訳（メタデータ） (2023-10-10T08:46:10Z)
• Zero- and Few-Shot Prompting with LLMs: A Comparative Study with Fine-tuned Models for Bangla Sentiment Analysis [6.471458199049549]
  本研究では,33,606件のニュースツイートとFacebookコメントを含む手動注釈付きデータセットを提案する。 また,Flan-T5,GPT-4,Bloomzなどの言語モデルを用いて,ゼロショットと少数ショットのインコンテキスト学習についても検討した。 以上の結果から,モノリンガルトランスフォーマーに基づくモデルは,ゼロおよび少数ショットシナリオにおいても,他のモデルよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2023-08-21T15:19:10Z)
• Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
  心理学からの感情評価理論を用いて,Large Language Models (LLMs) の人為的能力を評価する。 我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。 我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
  論文  参考訳（メタデータ） (2023-08-07T15:18:30Z)
• Political Sentiment Analysis of Persian Tweets Using CNN-LSTM Model [0.356008609689971]
  ペルシャの政治ツイートの分析感情に機械学習とディープラーニングモデルを提案する。 ParsBERTの埋め込みによるディープラーニングは、機械学習よりも優れている。
  論文  参考訳（メタデータ） (2023-07-15T08:08:38Z)
• Sentiment Analysis Based on Deep Learning: A Comparative Study [69.09570726777817]
  世論の研究は我々に貴重な情報を提供することができる。 感情分析の効率性と正確性は、自然言語処理で直面する課題によって妨げられている。 本稿では、感情分析の問題を解決するためにディープラーニングを用いた最新の研究をレビューする。
  論文  参考訳（メタデータ） (2020-06-05T16:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。