論文の概要: ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning

• arxiv url: http://arxiv.org/abs/2304.06588v1
• Date: Thu, 13 Apr 2023 14:51:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-14 14:07:49.399563
• Title: ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political Twitter Messages with Zero-Shot Learning
• Title（参考訳）: ChatGPT-4は、ゼロショット学習による政治Twitterメッセージの注釈付けで専門家や群衆労働者より優れている
• Authors: Petter T\"ornberg
• Abstract要約: 本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。 2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper assesses the accuracy, reliability and bias of the Large Language Model (LLM) ChatGPT-4 on the text analysis task of classifying the political affiliation of a Twitter poster based on the content of a tweet. The LLM is compared to manual annotation by both expert classifiers and crowd workers, generally considered the gold standard for such tasks. We use Twitter messages from United States politicians during the 2020 election, providing a ground truth against which to measure accuracy. The paper finds that ChatGPT-4 has achieves higher accuracy, higher reliability, and equal or lower bias than the human classifiers. The LLM is able to correctly annotate messages that require reasoning on the basis of contextual knowledge, and inferences around the author's intentions - traditionally seen as uniquely human abilities. These findings suggest that LLM will have substantial impact on the use of textual data in the social sciences, by enabling interpretive research at a scale.
• Abstract（参考訳）: 本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。 LLMは、専門家の分類器と群衆労働者の両方による手動のアノテーションと比較され、一般的にそのようなタスクのゴールドスタンダードと考えられている。 2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。 本稿は,ChatGPT-4がヒトの分類器よりも精度が高く,信頼性が高く,バイアスも低いことを明らかにする。 LLMは、コンテキスト知識と著者の意図に関する推論に基づいて推論を必要とするメッセージを正しく注釈付けすることができる。 これらの結果から,llmは大規模に解釈研究を行うことで,社会科学におけるテキストデータの利用に大きな影響を与えることが示唆された。

関連論文リスト

• Fact or Fiction? Can LLMs be Reliable Annotators for Political Truths? [2.321323878201932]
  政治的誤報は民主的プロセスに挑戦し、世論を形成し、メディアを信頼する。 本研究では,ニュース記事の政治的事実を検出するための信頼性アノテータとして,最先端の大規模言語モデル (LLM) を用いることを検討した。
  論文  参考訳（メタデータ） (2024-11-08T18:36:33Z)
• Toeing the Party Line: Election Manifestos as a Key to Understand Political Discourse on Twitter [15.698347233120993]
  手動のアノテーションを必要とせずに、テキスト表現を微調整するための信号としてハッシュタグを使用します。 提案手法は,全ての候補のつぶやきのあるシナリオにおいて,マニフェスト位置を反映した安定した位置決めを実現する。 これはアクターが手動のアノテーションで相対的な位置を確実に分析できることを示唆している。
  論文  参考訳（メタデータ） (2024-10-21T08:01:46Z)
• Advancing Annotation of Stance in Social Media Posts: A Comparative Analysis of Large Language Models and Crowd Sourcing [2.936331223824117]
  ソーシャルメディア投稿における自動テキストアノテーションのための大規模言語モデル(LLM)は、大きな関心を集めている。 ソーシャルメディア投稿において,8つのオープンソースおよびプロプライエタリなLCMの性能分析を行った。 「我々の研究の顕著な発見は、姿勢を表わす文章の明快さが、LLMの姿勢判断が人間とどのように一致しているかにおいて重要な役割を担っていることである。」
  論文  参考訳（メタデータ） (2024-06-11T17:26:07Z)
• White Men Lead, Black Women Help? Benchmarking Language Agency Social Biases in LLMs [58.27353205269664]
  社会的偏見は言語機関に現れることがある。 本稿では,言語庁バイアス評価ベンチマークを紹介する。 我々は,最近の3つのLarge Language Model(LLM)生成コンテンツにおいて,言語エージェンシーの社会的バイアスを明らかにした。
  論文  参考訳（メタデータ） (2024-04-16T12:27:54Z)
• Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
  大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。 我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。 この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-15T04:02:24Z)
• What Evidence Do Language Models Find Convincing? [94.90663008214918]
  議論の的になっているクエリと、さまざまな事実を含む実世界の証拠文書を組み合わせたデータセットを構築します。 このデータセットを用いて、感度と反ファクト分析を行い、どのテキスト特徴がLLM予測に最も影響するかを探索する。 全体として、現在のモデルは、クエリに対するWebサイトの関連性に大きく依存している一方で、人間が重要と考えるスタイル的特徴をほとんど無視している。
  論文  参考訳（メタデータ） (2024-02-19T02:15:34Z)
• Positioning Political Texts with Large Language Models by Asking and Averaging [0.0]
  政治文書のツイートや文がどこにあるのかを LLM に問う。 専門家、クラウドワーカー、ロールコール投票によるテキストコーディングに基づく最高のLCMとベンチマークで得られた位置推定値の相関は、90を超えている。 方針空間やイデオロギー空間におけるテキストの配置は、たとえテキストが短く、異なる言語で書かれたとしても、高速で、費用効率が高く、信頼性が高く、再現可能である(オープンなLLMの場合)。
  論文  参考訳（メタデータ） (2023-11-28T09:45:02Z)
• The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
  大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。 語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。 本研究は, 文脈情報を用いたLLMの高度化を示すものである。 LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
  論文  参考訳（メタデータ） (2023-10-20T14:49:47Z)
• Unsupervised Sentiment Analysis of Plastic Surgery Social Media Posts [91.3755431537592]
  ソーシャルメディアプラットフォームにまたがる膨大なユーザー投稿は、主に人工知能(AI)のユースケースに使われていない。 自然言語処理(NLP)は、コーパス(corpora)として知られるドキュメントの体系を利用して、人間のような言語理解でコンピュータを訓練するAIのサブフィールドである。 本研究は, 教師なし解析の応用により, コンピュータがプラスティック手術に対する否定的, 肯定的, 中立的なユーザ感情を予測できることを示した。
  論文  参考訳（メタデータ） (2023-07-05T20:16:20Z)
• Tweets2Stance: Users stance detection exploiting Zero-Shot Learning Algorithms on Tweets [0.06372261626436675]
  この研究の目的は、TwitterのパーティアカウントがTwitterで書いたことを悪用する各声明に関して、党pのスタンスを予測することである。 複数の実験から得られた結果から、Tweets2Stanceは、タスクの複雑さを考慮して、一般的な最小値である1.13の姿勢を正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-04-22T14:00:11Z)
• Identification of Twitter Bots based on an Explainable ML Framework: the US 2020 Elections Case Study [72.61531092316092]
  本稿では,ラベル付きTwitterデータに基づくTwitterボット識別システムの設計に焦点をあてる。 Supervised Machine Learning (ML)フレームワークは、Extreme Gradient Boosting (XGBoost)アルゴリズムを用いて採用されている。 また、MLモデルの予測を説明するためにShapley Additive Explanations (SHAP)をデプロイした。
  論文  参考訳（メタデータ） (2021-12-08T14:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。