論文の概要: Scaling Political Texts with ChatGPT
- arxiv url: http://arxiv.org/abs/2311.16639v1
- Date: Tue, 28 Nov 2023 09:45:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-29 18:54:31.111650
- Title: Scaling Political Texts with ChatGPT
- Title(参考訳): ChatGPTによる政治テキストのスケーリング
- Authors: Ga\"el Le Mens and Aina Gallego
- Abstract要約: GPT-4を用いて連続空間における政治的テキストの位置推定を行う。
GPT-4が生成する位置と専門家との相関は93%以上である。
個別のつぶやきに対して、GPT-4で得られた位置は、クラウドソースされた位置推定と91%の相関性が得られる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We use GPT-4 to obtain position estimates of political texts in continuous
spaces. We develop and validate a new approach by positioning British party
manifestos on the economic, social, and immigration policy dimensions and
tweets by members of the US Congress on the left-right ideological spectrum.
For the party manifestos, the correlation between the positions produced by
GPT-4 and experts is 93% or higher, a performance similar to or better than
that obtained with crowdsourced position estimates. For individual tweets, the
positions obtained with GPT-4 achieve a correlation of 91% with crowdsourced
position estimates. For senators of the 117th US Congress, the positions
obtained with GPT-4 achieve a correlation of 97% with estimates based on roll
call votes and of 96% with those based on campaign funding. Correlations are
also substantial within party, indicating that position estimates produced with
GPT-4 capture within-party differences between senators. Overall, using GPT-4
for ideological scaling is fast, cost-efficient, and reliable. This approach
provides a viable alternative to scaling by both expert raters and
crowdsourcing.
- Abstract(参考訳): GPT-4を用いて連続空間における政治的テキストの位置推定を行う。
我々は、左派イデオロギースペクトルに関するアメリカ合衆国議会のメンバーによる経済、社会、移民政策の側面とツイートに英国党のマニフェストを位置づけ、新しいアプローチを開発し、検証する。
党宣言では、gpt-4が生み出した地位と専門家の相関関係は93%以上であり、クラウドソーシングによる位置推定と同等かそれ以上である。
個別のつぶやきに対して、GPT-4で得られた位置は、クラウドソースされた位置推定と91%の相関性が得られる。
アメリカ第117議会の上院議員は、gpt-4で得られた役職は、ロールコール投票に基づく推計と97%、選挙資金に基づくものと96%の相関がある。
GPT-4による位置推定は、上院議員間での党内差を捉えていることを示している。
全体として、イデオロギースケーリングにGPT-4を用いることは、高速で、コスト効率が高く、信頼性が高い。
このアプローチは、エキスパートレートとクラウドソーシングの両方によるスケーリングの代替手段を提供する。
関連論文リスト
- A comparison of Human, GPT-3.5, and GPT-4 Performance in a University-Level Coding Course [0.0]
そこで本研究では,学習者のみに対するChatGPT変種であるGPT-3.5とGPT-4の性能評価を行った。
学生の平均は91.9%(SE:0.4)で、AI応募の最高水準、即興エンジニアリングのGPT-4を上回り、81.1%(SE:0.8)と統計的に有意な差(p = 2.482×10-10$)を示した。
盲目マーカーは、Definitely の 4-point Likert スケールで、提出書の著者を推測する作業であった。
論文 参考訳(メタデータ) (2024-03-25T17:41:02Z) - If in a Crowdsourced Data Annotation Pipeline, a GPT-4 [13.838190416388482]
本稿では,GPT-4と倫理的かつ優れたMTurkパイプラインを比較した。
ベストプラクティスにもかかわらず、MTurkパイプラインの最高精度は81.5%であり、GPT-4は83.6%に達した。
論文 参考訳(メタデータ) (2024-02-26T18:08:52Z) - Distortions in Judged Spatial Relations in Large Language Models: The
Dawn of Natural Language Geographic Data? [50.11601704574547]
GPT-4は55.3%の精度で優れた性能を示し、GPT-3.5は47.3%、Llama-2は44.7%であった。
これらの不正確さにもかかわらず、ほとんどの場合、モデルは最も近い基数方向を特定した。
論文 参考訳(メタデータ) (2024-01-08T20:08:04Z) - Prometheus: Inducing Fine-grained Evaluation Capability in Language
Models [66.12432440863816]
我々は,GPT-4の評価能力に匹敵する,完全にオープンソースなLarge Language Model (LLM) であるPrometheusを提案する。
プロメテウスは45種類の楽譜を用いた評価において、Pearsonの0.897の相関を人間の評価値と比較した。
Prometheusは2つの人間の選好ベンチマークで最も精度が高い。
論文 参考訳(メタデータ) (2023-10-12T16:50:08Z) - Split and Merge: Aligning Position Biases in Large Language Model based
Evaluators [23.38206418382832]
PortIAは、人間の比較戦略を模倣して位置バイアスを校正するアライメントベースのシステムである。
その結果, Portia はテスト対象のモデルと比較形態の整合性を著しく向上させることがわかった。
GPT-4モデルにおける位置バイアスの約80%を修正し、一貫性を98%まで高める。
論文 参考訳(メタデータ) (2023-09-29T14:38:58Z) - Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。
このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
論文 参考訳(メタデータ) (2023-08-03T12:47:17Z) - DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT
Models [92.6951708781736]
本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。
GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。
我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
論文 参考訳(メタデータ) (2023-06-20T17:24:23Z) - The Self-Perception and Political Biases of ChatGPT [0.0]
この貢献はOpenAIのLarge Language Model ChatGPTの自己認識と政治的偏見を分析している。
コンパステストは進歩主義とリバタリアンの見解に対する偏見を浮き彫りにした。
G7加盟国の政治調査では進歩的見解に対する偏見を示したが、権威主義とリバタリアンの見解の間に有意な偏見はなかった。
論文 参考訳(メタデータ) (2023-04-14T18:06:13Z) - ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political
Twitter Messages with Zero-Shot Learning [0.0]
本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。
2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。
論文 参考訳(メタデータ) (2023-04-13T14:51:40Z) - Design and analysis of tweet-based election models for the 2021 Mexican
legislative election [55.41644538483948]
選挙日前の6ヶ月の間に、1500万件の選挙関連ツイートのデータセットを使用します。
地理的属性を持つデータを用いたモデルが従来のポーリング法よりも精度と精度で選挙結果を決定することがわかった。
論文 参考訳(メタデータ) (2023-01-02T12:40:05Z) - Right and left, partisanship predicts (asymmetric) vulnerability to
misinformation [71.46564239895892]
我々は、Twitter上でのニュース共有行動を研究することにより、パルチザン、エコーチャンバー、およびオンライン誤情報に対する脆弱性の関係を分析する。
誤情報に対する脆弱性は、左派と右派の両方のユーザーの党派の影響を強く受けている。
論文 参考訳(メタデータ) (2020-10-04T01:36:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。