論文の概要: Assessing Capabilities of Large Language Models in Social Media Analytics: A Multi-task Quest

• arxiv url: http://arxiv.org/abs/2604.18955v1
• Date: Tue, 21 Apr 2026 01:05:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.558987
• Title: Assessing Capabilities of Large Language Models in Social Media Analytics: A Multi-task Quest
• Title（参考訳）: ソーシャルメディア分析における大規模言語モデルの能力評価 : マルチタスククエスト
• Authors: Ramtin Davoudi, Kartik Thakkar, Nazanin Donyapour, Tyler Derr, Hamid Karimi,
• Abstract要約: 本稿は,Twitterデータセット上で3つのソーシャルメディア分析タスクにまたがる,最新のLCMの総合的評価について紹介する。 著者の検証には,多様なユーザおよびポスト選択戦略を対象とする,体系的なサンプリングフレームワークを導入する。 ポストジェネレーションでは,総合的な評価指標を用いて,LLMがユーザライクなコンテンツを生成する能力を評価する。 推論には、IAB Tech Lab 2023 と 2018 U.S. SOC の2つの標準属性と、既存のベースラインに対する LLM のベンチマークを使用して、職業と関心を注釈付けします。
• 参考スコア（独自算出の注目度）: 11.742578578163856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this study, we present the first comprehensive evaluation of modern LLMs - including GPT-4, GPT-4o, GPT-3.5-Turbo, Gemini 1.5 Pro, DeepSeek-V3, Llama 3.2, and BERT - across three core social media analytics tasks on a Twitter (X) dataset: (I) Social Media Authorship Verification, (II) Social Media Post Generation, and (III) User Attribute Inference. For the authorship verification, we introduce a systematic sampling framework over diverse user and post selection strategies and evaluate generalization on newly collected tweets from January 2024 onward to mitigate "seen-data" bias. For post generation, we assess the ability of LLMs to produce authentic, user-like content using comprehensive evaluation metrics. Bridging Tasks I and II, we conduct a user study to measure real users' perceptions of LLM-generated posts conditioned on their own writing. For attribute inference, we annotate occupations and interests using two standardized taxonomies (IAB Tech Lab 2023 and 2018 U.S. SOC) and benchmark LLMs against existing baselines. Overall, our unified evaluation provides new insights and establishes reproducible benchmarks for LLM-driven social media analytics. The code and data are provided in the supplementary material and will also be made publicly available upon publication.
• Abstract（参考訳）: 本研究では,GPT-4,GPT-4o,GPT-3.5-Turbo,Gemini 1.5 Pro,DeepSeek-V3,Llama 3.2,BERTの3つの中核ソーシャルメディア分析タスクをTwitter(X)データセット上で実施した。 著者の検証のために,多様なユーザ・ポスト選択戦略に関する体系的なサンプリングフレームワークを導入し,2024年1月以降に新たに収集されたツイートの一般化を評価した。 ポストジェネレーションでは,総合的な評価指標を用いて,LLMがユーザライクなコンテンツを生成する能力を評価する。 本研究は,LLM作成記事に対する実際のユーザの認識を,自筆で評価するためのユーザスタディである。 属性推論では、2つの標準分類体系(IAB Tech Lab 2023および2018 U.S. SOC)とLCMを既存のベースラインに対してベンチマークすることで、職業と利益を注釈付けする。 全体として、我々の統合評価は新たな洞察を与え、LLM駆動のソーシャルメディア分析のための再現可能なベンチマークを確立する。 コードとデータは補足資料で提供され、出版時にも公開されている。

関連論文リスト

• Let's Use ChatGPT To Write Our Paper! Benchmarking LLMs To Write the Introduction of a Research Paper [64.50822834679101]
  SciIGは、タイトル、抽象、および関連する作品からコヒーレントな紹介を生成するLLMの能力を評価するタスクである。 オープンソース (DeepSeek-v3, Gemma-3-12B, LLaMA 4-Maverick, MistralAI Small 3.1) およびクローズドソース GPT-4o システムを含む5つの最先端モデルを評価する。 結果は、特に意味的類似性と忠実性において、ほとんどのメトリクスにおいて、LLaMA-4 Maverickの優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2025-08-19T21:11:11Z)
• From Millions of Tweets to Actionable Insights: Leveraging LLMs for User Profiling [3.304341919932024]
  ドメイン定義文を活用する新しい大規模言語モデル(LLM)ベースのアプローチを導入する。 提案手法は,解釈可能な自然言語ユーザプロファイルを生成し,広範囲なユーザデータをスケールに集約する。 実験の結果,本手法は最先端のLCM法および従来手法よりも9.8%優れていた。
  論文  参考訳（メタデータ） (2025-05-09T16:51:24Z)
• Can LLMs Generate Tabular Summaries of Science Papers? Rethinking the Evaluation Protocol [83.90769864167301]
  文献レビュー表は、科学論文の集合を要約し比較するために欠かせないものである。 学術論文の収集にあたり,ユーザの情報ニーズを最大限に満たす表を作成するタスクについて検討する。 我々の貢献は、現実世界で遭遇する3つの重要な課題に焦点を当てている: (i)ユーザープロンプトは、しばしば未特定である; (ii)検索された候補論文は、しばしば無関係な内容を含む; (iii)タスク評価は、浅いテキスト類似性技術を超えて進むべきである。
  論文  参考訳（メタデータ） (2025-04-14T14:52:28Z)
• SubData: Bridging Heterogeneous Datasets to Enable Theory-Driven Evaluation of Political and Demographic Perspectives in LLMs [3.8439345751986913]
  大規模言語モデル(LLM)は、多様な人間の視点に合わせることができる。 下流タスク(例えばヘイトスピーチ検出)におけるこのアライメントを評価することは、研究全体にわたる一貫性のないデータセットを使用することにより、依然として困難である。 異種データセットの標準化のために設計されたオープンソースのPythonライブラリであるSubDataを導入し、LLMの視点アライメントを評価する。
  論文  参考訳（メタデータ） (2024-12-21T21:40:31Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。