論文の概要: A Comparative Evaluation of Large Language Models for Persian Sentiment Analysis and Emotion Detection in Social Media Texts

• arxiv url: http://arxiv.org/abs/2509.14922v1
• Date: Thu, 18 Sep 2025 12:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.221926
• Title: A Comparative Evaluation of Large Language Models for Persian Sentiment Analysis and Emotion Detection in Social Media Texts
• Title（参考訳）: ソーシャルメディアテキストにおけるペルシャ感情分析と感情検出のための大規模言語モデルの比較評価
• Authors: Kian Tohidi, Kia Dashtipour, Simone Rebora, Sevda Pourfaramarz,
• Abstract要約: 本研究では,ペルシャ語のソーシャルメディアテキストにおける感情分析と感情検出のための4つの大規模言語モデル(LLM)の比較評価を行った。 その結果、全てのモデルの性能が許容できるレベルに達しており、最良の3つのモデルの統計的比較では、それらの間に有意な差は見られなかった。 その結果、感情検出タスクは感情分析タスクと比較して全てのモデルにおいて困難であり、誤分類パターンはペルシア語のテキストにおけるいくつかの課題を表わす可能性があることが示唆された。
• 参考スコア（独自算出の注目度）: 2.820011731460364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study presents a comprehensive comparative evaluation of four state-of-the-art Large Language Models (LLMs)--Claude 3.7 Sonnet, DeepSeek-V3, Gemini 2.0 Flash, and GPT-4o--for sentiment analysis and emotion detection in Persian social media texts. Comparative analysis among LLMs has witnessed a significant rise in recent years, however, most of these analyses have been conducted on English language tasks, creating gaps in understanding cross-linguistic performance patterns. This research addresses these gaps through rigorous experimental design using balanced Persian datasets containing 900 texts for sentiment analysis (positive, negative, neutral) and 1,800 texts for emotion detection (anger, fear, happiness, hate, sadness, surprise). The main focus was to allow for a direct and fair comparison among different models, by using consistent prompts, uniform processing parameters, and by analyzing the performance metrics such as precision, recall, F1-scores, along with misclassification patterns. The results show that all models reach an acceptable level of performance, and a statistical comparison of the best three models indicates no significant differences among them. However, GPT-4o demonstrated a marginally higher raw accuracy value for both tasks, while Gemini 2.0 Flash proved to be the most cost-efficient. The findings indicate that the emotion detection task is more challenging for all models compared to the sentiment analysis task, and the misclassification patterns can represent some challenges in Persian language texts. These findings establish performance benchmarks for Persian NLP applications and offer practical guidance for model selection based on accuracy, efficiency, and cost considerations, while revealing cultural and linguistic challenges that require consideration in multilingual AI system deployment.
• Abstract（参考訳）: 本研究では、ペルシアのソーシャルメディアテキストにおける感情分析と感情検出のための4つの最先端のLarge Language Model (LLMs)-Claude 3.7 Sonnet, DeepSeek-V3, Gemini 2.0 Flash, GPT-4o-の総合的な比較評価を行った。 LLMの比較分析は近年顕著な増加をみせたが、これらの分析のほとんどは英語のタスクで行われ、言語間パフォーマンスパターンの理解にギャップが生じた。 この研究は、感情分析のための900テキスト(肯定的、否定的、中立的)と、感情検出のための1,800テキスト(恐怖、恐怖、幸福、憎しみ、悲しみ、驚き)を含むバランスのとれたペルシアのデータセットを使用して、厳密な実験設計を通じてこれらのギャップに対処する。 主な焦点は、一貫したプロンプト、一貫した処理パラメータを使用し、精度、リコール、F1スコアなどのパフォーマンス指標を誤分類パターンとともに分析することで、異なるモデル間で直接的かつ公平な比較を可能にすることである。 その結果、全てのモデルの性能が許容できるレベルに達しており、最良の3つのモデルの統計的比較では、それらの間に有意な差は見られなかった。 しかし、GPT-4oは両方のタスクの精度が極端に高く、Gemini 2.0 Flashは最もコスト効率が良いことを示した。 その結果、感情検出タスクは感情分析タスクと比較して全てのモデルにおいて困難であり、誤分類パターンはペルシア語のテキストにおけるいくつかの課題を表わす可能性があることが示唆された。 これらの結果は,ペルシャのNLPアプリケーションのパフォーマンスベンチマークを確立し,精度,効率,コストを考慮したモデル選択の実践的ガイダンスを提供するとともに,多言語AIシステム展開において考慮すべき文化的・言語的課題を明らかにする。

関連論文リスト

• An Empirical Comparison of Text Summarization: A Multi-Dimensional Evaluation of Large Language Models [2.1945750784330067]
  本研究は17大言語モデル(OpenAI, Google, Anthropic, オープンソース)の要約性能を評価する。 事実整合性、意味的類似性、語彙重なり、人間に似た品質の指標を用いて、7つの多様なデータセットのモデルを評価した。
  論文  参考訳（メタデータ） (2025-04-06T16:24:22Z)
• Fine-Tuning Language Models for Ethical Ambiguity: A Comparative Study of Alignment with Human Responses [1.566834021297545]
  言語モデルは曖昧さを扱うため、人間の意図を誤解することが多い。 道徳的にあいまいな文脈では人間とLLMの判断が不十分であることを示す。 テキスト・トゥ・テキスト・フォーマットにおけるモデルによるテキスト・配信の理解を改善するための微調整手法により、性能とアライメントを効果的に向上する。
  論文  参考訳（メタデータ） (2024-10-10T11:24:04Z)
• Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases [98.35348038111508]
  本稿では,Google の Gemini と OpenAI の GPT-4V(ision) の2つのパイオニアモデルについて,詳細な比較研究を行った。 分析の核となるのは、各モデルの視覚的理解能力である。 両モデルのユニークな強みとニッチを照らし出した。
  論文  参考訳（メタデータ） (2023-12-22T18:59:58Z)
• Text2Analysis: A Benchmark of Table Question Answering with Advanced Data Analysis and Unclear Queries [67.0083902913112]
  高度な解析タスクを取り入れたText2Analysisベンチマークを開発した。 また,5つのイノベーティブかつ効果的なアノテーション手法を開発した。 3つの異なる指標を用いて5つの最先端モデルを評価する。
  論文  参考訳（メタデータ） (2023-12-21T08:50:41Z)
• Multilingual and Multi-topical Benchmark of Fine-tuned Language models and Large Language Models for Check-Worthy Claim Detection [1.4779899760345434]
  本研究では,(1)微調整言語モデルと(2)チェック価値のあるクレーム検出タスクにおける大規模言語モデルの性能を比較した。 様々なソースやスタイルのテキストからなる多言語・多言語データセットを構築した。
  論文  参考訳（メタデータ） (2023-11-10T15:36:35Z)
• SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
  我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。 SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
  論文  参考訳（メタデータ） (2023-10-27T06:48:48Z)
• Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification [58.720142291102135]
  本研究では,実環境における職種分類の課題について検討する。 目標は、英語の求職が卒業生やエントリーレベルの地位に適切かどうかを判断することである。
  論文  参考訳（メタデータ） (2023-03-13T14:09:53Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。