論文の概要: LLMs left, right, and center: Assessing GPT's capabilities to label political bias from web domains
- arxiv url: http://arxiv.org/abs/2407.14344v1
- Date: Fri, 19 Jul 2024 14:28:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 17:15:09.218702
- Title: LLMs left, right, and center: Assessing GPT's capabilities to label political bias from web domains
- Title（参考訳）: LLMs left, right, and center: GPTがWebドメインから政治的バイアスをラベル付けする能力を評価する
- Authors: Raphael Hernandes,
- Abstract要約: 本研究では,現在最先端の大規模言語モデルである OpenAI の GPT-4 が,URLのみに基づいて,ニュースソースの政治的バイアスを正確に分類できるかどうかを検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This research investigates whether OpenAI's GPT-4, a state-of-the-art large language model, can accurately classify the political bias of news sources based solely on their URLs. Given the subjective nature of political labels, third-party bias ratings like those from Ad Fontes Media, AllSides, and Media Bias/Fact Check (MBFC) are often used in research to analyze news source diversity. This study aims to determine if GPT-4 can replicate these human ratings on a seven-degree scale ("far-left" to "far-right"). The analysis compares GPT-4's classifications against MBFC's, and controls for website popularity using Open PageRank scores. Findings reveal a high correlation ($\text{Spearman's } \rho = .89$, $n = 5,877$, $p < 0.001$) between GPT-4's and MBFC's ratings, indicating the model's potential reliability. However, GPT-4 abstained from classifying approximately $\frac{2}{3}$ of the dataset, particularly less popular and less biased sources. The study also identifies a slight leftward skew in GPT-4's classifications compared to MBFC's. The analysis suggests that while GPT-4 can be a scalable, cost-effective tool for political bias classification of news websites, but its use should complement human judgment to mitigate biases. Further research is recommended to explore the model's performance across different settings, languages, and additional datasets.
- Abstract（参考訳）: 本研究では,現在最先端の大規模言語モデルである OpenAI の GPT-4 が,URLのみに基づいて,ニュースソースの政治的バイアスを正確に分類できるかどうかを検討する。
政治的ラベルの主観的な性質を考えると、Ad Fontes Media、AllSides、Media Bias/Fact Check (MBFC)のような第三者の偏見評価は、ニュースソースの多様性を分析するためにしばしば用いられる。
本研究の目的は、GPT-4が人間の評価を7度のスケールで再現できるかどうかを判断することである。
この分析は、GPT-4の分類とMBFCの分類を比較し、Open PageRankスコアを用いてウェブサイトの人気を制御する。
発見は、GPT-4とMBFCのレーティングの間に高い相関(\text{Spearman's } \rho = .89$, $n = 5,877$, $p < 0.001$)があることを示し、モデルの潜在的な信頼性を示している。
しかし、GPT-4はデータセットの約$\frac{2}{3}$の分類を禁止した。
MBFCと比較して、GPT-4の分類ではわずかに左向きのスキューが同定されている。
この分析は、GPT-4は、ニュースサイトの政治的偏見分類のためのスケーラブルで費用効果の高いツールであるが、その使用は、偏見を緩和するために人間の判断を補完するであろうことを示唆している。
さまざまな設定、言語、追加のデータセットにわたるモデルのパフォーマンスについて、さらなる研究が推奨されている。
関連論文リスト
- Is GPT-4 Less Politically Biased than GPT-3.5? A Renewed Investigation of ChatGPT's Political Biases [0.0]
本稿では,ChatGPTの政治的バイアスと性格特性について検討し,特にGPT-3.5とGPT-4を比較した。
政治コンパステストとビッグファイブパーソナリティテストはそれぞれのシナリオに100回採用されました。
その結果, GPT-3.5 と GPT-4 の違いを解析するために, 計算平均, 標準偏差, 重要度試験を行った。
人間の研究に相互依存していることが示されている特徴について、相関関係が発見された。
論文 参考訳（メタデータ） (2024-10-28T13:32:52Z) - Identifying the sources of ideological bias in GPT models through linguistic variation in output [0.0]
我々は、政治的態度の対照的な国における言語変化を利用して、センシティブな政治トピックに対するGPT応答のバイアスを評価する。
GPTのアウトプットは、保守的な社会によく対応している言語ではより保守的である。
GPT-3.5で見られる言語間の差異は、OpenAIのフィルタリングポリシーのため、GPT-4の方がはるかにリベラルであるにもかかわらず、GPT-4で持続する。
論文 参考訳（メタデータ） (2024-09-09T20:11:08Z) - Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
大規模言語モデル (LLM) は現実世界での利用が増えているが、その戦略的意思決定能力はほとんど探索されていない。
本研究は,Stag Hunt と Prisoner Dilemma のカノニカルゲーム理論2人プレイヤ非ゼロサムゲームにおける LLM の性能とメリットについて検討する。
GPT-3.5, GPT-4-Turbo, GPT-4o, Llama-3-8Bの構造化評価は, これらのゲームにおいて決定を行う場合, 以下の系統的バイアスの少なくとも1つの影響を受けていることを示す。
論文 参考訳（メタデータ） (2024-07-05T12:30:02Z) - Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
我々は,大規模言語モデルが特定のグループに対する暗黙の偏見を厳格に評価する。
我々は,4つの共通のバイアス型の評価データセットを構築した3つのアタックアプローチ,すなわちDguise,Deception,Teachingを提案する。
論文 参考訳（メタデータ） (2024-06-20T06:42:08Z) - Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。
我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。
この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-03-15T04:02:24Z) - Behind the Screen: Investigating ChatGPT's Dark Personality Traits and
Conspiracy Beliefs [0.0]
本稿では, GPT-3.5 と GPT-4 の暗黒性格特性と陰謀信念を分析した。
ダークパーソナリティの特徴と陰謀の信念はどちらのモデルでも特に強調されなかった。
論文 参考訳（メタデータ） (2024-02-06T16:03:57Z) - Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。
このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
論文 参考訳（メタデータ） (2023-08-03T12:47:17Z) - DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT
Models [92.6951708781736]
本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。
GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。
我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
論文 参考訳（メタデータ） (2023-06-20T17:24:23Z) - Is GPT-4 a Good Data Analyst? [67.35956981748699]
我々は、GPT-4を、広範囲のドメインのデータベースでエンドツーエンドのデータ分析を行うためのデータ分析であると考えている。
我々は,複数の専門家データアナリストとGPT-4のパフォーマンスを体系的に比較するために,タスク固有の評価指標を設計する。
実験の結果, GPT-4はヒトに匹敵する性能を示した。
論文 参考訳（メタデータ） (2023-05-24T11:26:59Z) - ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political
Twitter Messages with Zero-Shot Learning [0.0]
本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。
2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。
論文 参考訳（メタデータ） (2023-04-13T14:51:40Z) - Accuracy and Political Bias of News Source Credibility Ratings by Large Language Models [8.367075755850983]
本稿では,3大プロバイダから広く利用されている8つの言語モデル(LLM)を評価し,信頼性と高品質な情報ソースを識別する能力を評価する。
より大規模なモデルは、情報不足のために評価の提供を拒否する傾向にあるのに対して、より小さなモデルは、その評価において幻覚を起こす傾向にある。
論文 参考訳（メタデータ） (2023-04-01T05:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。