論文の概要: Nobody Truly Agrees on Sentiment: Humans, Bespoke Tools, and LLMs Struggle with Social Media Texts

• arxiv url: http://arxiv.org/abs/2610.10318v1
• Date: Wed, 07 Oct 2026 16:11:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.020953
• Title: Nobody Truly Agrees on Sentiment: Humans, Bespoke Tools, and LLMs Struggle with Social Media Texts
• Title（参考訳）: ソーシャルメディアのテキストで人間、Bespokeツール、LLMを操る人はいない
• Abstract要約: ソーシャルメディアは、リアルタイムな世論の豊富な情報源であるが、広く使われている感情分析ツールは、その限界を理解することなくしばしば適用される。 我々は,100ツイートにわたる6人のラッカーに対する3つの感情分析ツール(TextBlob,VADER,Twitter-roBERTa-base)と3つの大規模言語モデル(LLM)の相互信頼度を評価した。
• 参考スコア（独自算出の注目度）: 2.348243366780626
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Social media is a rich source of real-time public sentiment, but widely used sentiment analysis tools are often applied without understanding their limitations. In this study, we evaluate the inter-rater reliability of three bespoke sentiment analysis tools (TextBlob, VADER, and Twitter-roBERTa-base) and three large language models (LLMs: Qwen3-32B, GPT-OSS-120B, Llama-4-Maverick-17B) against six human raters across 100 tweets. We measured agreement using two statistical measures: Cohen's kappa for pairwise comparisons and Fleiss' kappa for multiple raters. Even among the human raters, our results showed only fair agreement, highlighting the subjectivity of sentiment analysis. Higher agreement was observed under the binary sentiment classification (negative vs. non-negative and positive vs. non-positive) than under the three-class classification across both humans and automated tools. The Twitter-roBERTa-base model showed the strongest alignment with human ratings, outperforming both bespoke sentiment tools and LLMs, particularly in distinguishing negative versus non-negative sentiment. LLMs showed substantial agreement among themselves and moderate to substantial alignment with humans, performing better in positive vs. non-positive classifications. Our findings underscore that domain-specific fine-tuning remains crucial for reliable social media sentiment analysis, and human-centered evaluation remains essential for establishing gold-standard labels.
• Abstract（参考訳）: ソーシャルメディアは、リアルタイムな世論の豊富な情報源であるが、広く使われている感情分析ツールは、その限界を理解することなくしばしば適用される。 本研究では,3つの感情分析ツール(TextBlob,VADER,Twitter-roBERTa-base)と3つの大規模言語モデル(LLMs:Qwen3-32B,GPT-OSS-120B,Llama-4-Maverick-17B)の,100ツイートにわたる6人のラッカーに対する相互信頼度を評価する。 コーエンのカッパとフライスのカッパの2つの統計尺度を用いて合意度を測定した。 この結果から, 感情分析の主観性に着目し, 公正な一致を示した。 二重感情分類(負対非負対非正対非正対非正対)では、人間と自動化ツールの3つの分類では高い一致が見られた。 Twitter-RoBERTaベースモデルは、人間の評価と最強の相関を示し、特にネガティブな感情と非ネガティブな感情の区別において、悪質な感情ツールとLLMの両方を上回った。 LLMは、彼らの間で相当な一致を示し、人間と中程度から実質的な一致を示し、非正の分類よりも良い結果を示した。 本研究は, 信頼性の高いソーシャルメディア感情分析において, ドメイン固有の微調整は依然として不可欠であり, ゴールド・スタンダード・ラベルの確立には人間中心評価が不可欠であることを示すものである。

関連論文リスト

• Does Topic Sentiment Cause Perceived Ideology? Comparing Human and LLM Annotations in Political News Articles [0.0]
  我々は、話題感情が政治的イデオロギーの認知に因果的影響を及ぼすかどうかを問う。 我々は、専門家のアノテータ、GPT-4o-mini(ベースラインおよび微調整)、Llama-3.3-70Bのイデオロギーラベルを比較した。 人間のアノテーションはコミュニティレベルで有意な因果関係を生じさせない。
  論文  参考訳（メタデータ） (2026-06-04T21:05:48Z)
• Attribute-Based Diagnosis of LLM Alignment with Hate Speech Annotations [48.69228180369574]
  ヘイトスピーチアノテーションはコストが高く、主観的で、アノテータの意見の相違がちである。 大規模言語モデル(LLM)が人間の判断とどのように一致しているかを分析する。 本研究では, ヘイトスピーチコーパスから連続ヘイトスピーチスコアを再構成する。
  論文  参考訳（メタデータ） (2026-05-26T13:44:48Z)
• Directed Social Regard: Surfacing Targeted Advocacy, Opposition, Aid, Harms, and Victimization in Online Media [1.4833474132006794]
  本稿では,多次元多値感情分析に対するDSR(Directed Social Regard)アプローチを提案する。 本稿では,DSRデータセット構築のためのデータ収集およびアノテーション戦略,スパンレベルスコアリングのためのトランスフォーマーベースアーキテクチャ,有望な結果を伴う検証研究について述べる。
  論文  参考訳（メタデータ） (2026-05-01T16:45:31Z)
• Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models [75.85319609088354]
  SAGE(Sentient Agent as a Judge)は、大規模言語モデルの評価フレームワークである。 SAGEは人間のような感情の変化や内的思考をシミュレートするSentient Agentをインスタンス化する。 SAGEは、真に共感的で社会的に適応的な言語エージェントへの進捗を追跡するための、原則付き、スケーラブルで解釈可能なツールを提供する。
  論文  参考訳（メタデータ） (2025-05-01T19:06:10Z)
• You Shall Know a Tool by the Traces it Leaves: The Predictability of Sentiment Analysis Tools [74.98850427240464]
  感情分析ツールが同じデータセットで一致しないことを示す。 感傷的アノテーションに使用される感情ツールは,その結果から予測できることを示す。
  論文  参考訳（メタデータ） (2024-10-18T17:27:38Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• ACORN: Aspect-wise Commonsense Reasoning Explanation Evaluation [29.718851249656172]
  大規模言語モデル(LLM)は、一貫性、スケーラビリティ、コスト効率の面で魅力的な代替手段である。 ACORNは3500のフリーテキストの説明とアスペクトワイドの品質評価のデータセットである。
  論文  参考訳（メタデータ） (2024-05-08T05:36:52Z)
• Tweets Sentiment Analysis via Word Embeddings and Machine Learning Techniques [1.345251051985899]
  本論文では、感情分類のための特徴選択モデルWord2vecと機械学習アルゴリズムランダムフォレストを用いて、リアルタイムの2019年選挙Twitterデータに対する感情分析を行うことを目的とする。 Word2vecはテキスト中の単語の文脈意味を考慮し、特徴の質を改善し、機械学習と感情分析の精度を向上させる。
  論文  参考訳（メタデータ） (2020-07-05T08:10:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。