論文の概要: ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political
Twitter Messages with Zero-Shot Learning
- arxiv url: http://arxiv.org/abs/2304.06588v1
- Date: Thu, 13 Apr 2023 14:51:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-14 14:07:49.399563
- Title: ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political
Twitter Messages with Zero-Shot Learning
- Title(参考訳): ChatGPT-4は、ゼロショット学習による政治Twitterメッセージの注釈付けで専門家や群衆労働者より優れている
- Authors: Petter T\"ornberg
- Abstract要約: 本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。
2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper assesses the accuracy, reliability and bias of the Large Language
Model (LLM) ChatGPT-4 on the text analysis task of classifying the political
affiliation of a Twitter poster based on the content of a tweet. The LLM is
compared to manual annotation by both expert classifiers and crowd workers,
generally considered the gold standard for such tasks. We use Twitter messages
from United States politicians during the 2020 election, providing a ground
truth against which to measure accuracy. The paper finds that ChatGPT-4 has
achieves higher accuracy, higher reliability, and equal or lower bias than the
human classifiers. The LLM is able to correctly annotate messages that require
reasoning on the basis of contextual knowledge, and inferences around the
author's intentions - traditionally seen as uniquely human abilities. These
findings suggest that LLM will have substantial impact on the use of textual
data in the social sciences, by enabling interpretive research at a scale.
- Abstract(参考訳): 本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。
LLMは、専門家の分類器と群衆労働者の両方による手動のアノテーションと比較され、一般的にそのようなタスクのゴールドスタンダードと考えられている。
2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。
本稿は,ChatGPT-4がヒトの分類器よりも精度が高く,信頼性が高く,バイアスも低いことを明らかにする。
LLMは、コンテキスト知識と著者の意図に関する推論に基づいて推論を必要とするメッセージを正しく注釈付けすることができる。
これらの結果から,llmは大規模に解釈研究を行うことで,社会科学におけるテキストデータの利用に大きな影響を与えることが示唆された。
関連論文リスト
- What Evidence Do Language Models Find Convincing? [103.67867531892988]
議論の的になっているクエリと、さまざまな事実を含む実世界の証拠文書を組み合わせたデータセットを構築します。
このデータセットを用いて、感度と反ファクト分析を行い、どのテキスト特徴がLLM予測に最も影響するかを探索する。
全体として、現在のモデルは、クエリに対するWebサイトの関連性に大きく依存している一方で、人間が重要と考えるスタイル的特徴をほとんど無視している。
論文 参考訳(メタデータ) (2024-02-19T02:15:34Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。
語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。
本研究は, 文脈情報を用いたLLMの高度化を示すものである。
LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
論文 参考訳(メタデータ) (2023-10-20T14:49:47Z) - "Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in
LLM-Generated Reference Letters [97.11173801187816]
大規模言語モデル(LLM)は、個人が様々な種類のコンテンツを書くのを支援する効果的なツールとして最近登場した。
本稿では, LLM 生成した参照文字の性別バイアスについて批判的に検討する。
論文 参考訳(メタデータ) (2023-10-13T16:12:57Z) - Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。
自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。
本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
論文 参考訳(メタデータ) (2023-07-05T20:16:20Z) - Large language models can rate news outlet credibility [6.147741269183294]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて例外的な性能を示している。
ここでは、著名なLCMであるChatGPTが、ニュースメディアの信頼性を評価することができるかどうかを評価する。
以上の結果から,これらの評価は人的専門家の評価と相関していることがわかった。
論文 参考訳(メタデータ) (2023-04-01T05:04:06Z) - Retweet-BERT: Political Leaning Detection Using Language Features and
Information Diffusion on Social Networks [30.143148646797265]
Retweet-BERTは、シンプルでスケーラブルなモデルで、Twitterユーザーの政治的傾向を推定する。
我々の仮定は、同様のイデオロギーを共有する人々の間で、ネットワークや言語学のパターンがホモフィリーであることに由来する。
論文 参考訳(メタデータ) (2022-07-18T02:18:20Z) - Tweets2Stance: Users stance detection exploiting Zero-Shot Learning
Algorithms on Tweets [0.06372261626436675]
この研究の目的は、TwitterのパーティアカウントがTwitterで書いたことを悪用する各声明に関して、党pのスタンスを予測することである。
複数の実験から得られた結果から、Tweets2Stanceは、タスクの複雑さを考慮して、一般的な最小値である1.13の姿勢を正確に予測できることがわかった。
論文 参考訳(メタデータ) (2022-04-22T14:00:11Z) - Identification of Twitter Bots based on an Explainable ML Framework: the
US 2020 Elections Case Study [72.61531092316092]
本稿では,ラベル付きTwitterデータに基づくTwitterボット識別システムの設計に焦点をあてる。
Supervised Machine Learning (ML)フレームワークは、Extreme Gradient Boosting (XGBoost)アルゴリズムを用いて採用されている。
また、MLモデルの予測を説明するためにShapley Additive Explanations (SHAP)をデプロイした。
論文 参考訳(メタデータ) (2021-12-08T14:12:24Z) - Inferring Political Preferences from Twitter [0.0]
ソーシャルメディアの政治的センチメント分析は、政治ストラテジストが政党や候補者のパフォーマンスを精査するのに役立つ。
選挙期間中、ソーシャルネットワークはブログ、チャット、討論、政党や政治家の展望に関する議論で溢れている。
本研究では、従来の機械学習を用いて、テキスト分類問題としてモデル化することで、ツイートに存在する政治的意見の傾きを特定することを選んだ。
論文 参考訳(メタデータ) (2020-07-21T05:20:43Z) - Performance Comparison of Crowdworkers and NLP Tools on Named-Entity
Recognition and Sentiment Analysis of Political Tweets [10.845299122710449]
クラウドワーカーと7つの自然言語処理(NLP)ツールキットの精度を比較した。
我々は、2016年2月のアメリカ合衆国大統領選挙で収集された、1000の政治的ツイートからなる挑戦的なデータセットに焦点を当てている。
政治ツイートのデータセットでは、最も正確なNERシステムであるGoogle Cloud NLが、クラウドワーカーとほぼ同等に実行されました。
論文 参考訳(メタデータ) (2020-02-11T03:03:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。