論文の概要: Accuracy and Political Bias of News Source Credibility Ratings by Large Language Models
- arxiv url: http://arxiv.org/abs/2304.00228v2
- Date: Sat, 10 Aug 2024 02:09:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 01:18:22.952239
- Title: Accuracy and Political Bias of News Source Credibility Ratings by Large Language Models
- Title（参考訳）: 大規模言語モデルによるニュースソースの信頼性評価の精度と政治的バイアス
- Authors: Kai-Cheng Yang, Filippo Menczer,
- Abstract要約: 本稿では,3大プロバイダから広く利用されている8つの言語モデル(LLM)を評価し,信頼性と高品質な情報ソースを識別する能力を評価する。
より大規模なモデルは、情報不足のために評価の提供を拒否する傾向にあるのに対して、より小さなモデルは、その評価において幻覚を起こす傾向にある。
- 参考スコア（独自算出の注目度）: 8.367075755850983
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Search engines increasingly leverage large language models (LLMs) to generate direct answers, and AI chatbots now access the Internet for fresh data. As information curators for billions of users, LLMs must assess the accuracy and reliability of different sources. This paper audits eight widely used LLMs from three major providers -- OpenAI, Google, and Meta -- to evaluate their ability to discern credible and high-quality information sources from low-credibility ones. We find that while LLMs can rate most tested news outlets, larger models more frequently refuse to provide ratings due to insufficient information, whereas smaller models are more prone to hallucination in their ratings. For sources where ratings are provided, LLMs exhibit a high level of agreement among themselves (average Spearman's $\rho = 0.81$), but their ratings align only moderately with human expert evaluations (average $\rho = 0.59$). Analyzing news sources with different political leanings in the US, we observe a liberal bias in credibility ratings yielded by all LLMs in default configurations. Additionally, assigning partisan identities to LLMs consistently results in strong politically congruent bias in the ratings. These findings have important implications for the use of LLMs in curating news and political information.
- Abstract（参考訳）: 検索エンジンはますます大きな言語モデル(LLM)を活用して直接的な回答を生成するようになり、AIチャットボットは新鮮なデータのためにインターネットにアクセスするようになった。
数十億のユーザのための情報キュレーターとして、LLMは異なるソースの正確性と信頼性を評価する必要がある。
本稿は,OpenAI,Google,Metaの3大プロバイダから広く使用されている8つのLCMを監査し,信頼性と高品質な情報ソースを低信頼性のプロバイダから識別する能力を評価する。
LLMは、ほとんどのテストされたニュースメディアを評価できるが、より大規模なモデルは、情報不足のために評価の提供を拒否する傾向にあるのに対し、より小さなモデルは、その評価において幻覚を起こす傾向にある。
評価が提供される資料では、LLMは彼らの間で高いレベルの合意(平均的スピアマンの$\rho = 0.81$)を示すが、その評価は人間の専門家による評価(平均的$\rho = 0.59$)と適度に一致している。
米国内で異なる政治的傾向を持つニュースソースを分析し、デフォルト設定で全てのLCMが獲得する信頼性評価のリベラルな偏見を観察する。
加えて、LDMに党派的アイデンティティを割り当てることは、評価において政治的に矛盾する強いバイアスをもたらす。
これらの知見は、ニュースや政治情報の収集にLLMを使うことに重要な意味を持つ。
関連論文リスト
- Fact or Fiction? Can LLMs be Reliable Annotators for Political Truths? [2.321323878201932]
政治的誤報は民主的プロセスに挑戦し、世論を形成し、メディアを信頼する。
本研究では,ニュース記事の政治的事実を検出するための信頼性アノテータとして,最先端の大規模言語モデル (LLM) を用いることを検討した。
論文 参考訳（メタデータ） (2024-11-08T18:36:33Z) - From Deception to Detection: The Dual Roles of Large Language Models in Fake News [0.20482269513546458]
フェイクニュースは、情報エコシステムと公衆信頼の整合性に重大な脅威をもたらす。
LLM(Large Language Models)の出現は、フェイクニュースとの戦いを変革する大きな可能性を秘めている。
本稿では,偽ニュースに効果的に対処する各種LLMの能力について検討する。
論文 参考訳（メタデータ） (2024-09-25T22:57:29Z) - A Multi-LLM Debiasing Framework [85.17156744155915]
大規模言語モデル(LLM)は、社会に多大な利益をもたらす可能性がある強力なツールであるが、社会的不平等を持続するバイアスを示す。
近年,マルチLLM手法への関心が高まっており,推論の質向上に有効であることが示されている。
LLMのバイアス低減を目的としたマルチLLMデバイアスフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-20T20:24:50Z) - Bias in LLMs as Annotators: The Effect of Party Cues on Labelling Decision by Large Language Models [0.0]
我々は、Large Language Models (LLMs) において同様のバイアスをアノテーションとしてテストする。
人間とは違い、極端に左派や右派からの発言を誘発しても、LSMは顕著な偏見を呈する。
論文 参考訳（メタデータ） (2024-08-28T16:05:20Z) - Large Language Models' Detection of Political Orientation in Newspapers [0.0]
新聞の立場をよりよく理解するための様々な方法が開発されている。
LLM(Large Language Models)の出現は、研究者や市民を補助する破壊的な可能性を秘めている。
我々は,広く採用されている4つのLCMが新聞の位置づけを評価する方法を比較し,その回答が相互に一致しているかどうかを比較する。
膨大なデータセットを通じて、新聞の記事は単一のLCMによって著しく異なる位置に配置され、アルゴリズムの一貫性のないトレーニングや過度なランダム性を示唆している。
論文 参考訳（メタデータ） (2024-05-23T06:18:03Z) - CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。
分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。
本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
論文 参考訳（メタデータ） (2024-05-20T14:34:01Z) - Assessing Political Bias in Large Language Models [0.624709220163167]
我々は、ドイツの有権者の視点から、欧州連合(EU)内の政治問題に関するオープンソースのLarge Language Models(LLMs)の政治的バイアスを評価する。
Llama3-70Bのような大型モデルは、左派政党とより緊密に連携する傾向にあるが、小さなモデルは中立であることが多い。
論文 参考訳（メタデータ） (2024-05-17T15:30:18Z) - Whose Side Are You On? Investigating the Political Stance of Large Language Models [56.883423489203786]
大規模言語モデル(LLM)の政治的指向性について,8つのトピックのスペクトルにわたって検討する。
我々の調査は、中絶からLGBTQ問題まで8つのトピックにまたがるLLMの政治的整合性について考察している。
この結果から,ユーザはクエリ作成時に留意すべきであり,中立的なプロンプト言語を選択する際には注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-03-15T04:02:24Z) - Political Compass or Spinning Arrow? Towards More Meaningful Evaluations for Values and Opinions in Large Language Models [61.45529177682614]
我々は,大規模言語モデルにおける価値と意見の制約評価パラダイムに挑戦する。
強制されない場合、モデルが実質的に異なる答えを与えることを示す。
我々はこれらの知見をLLMの価値と意見を評価するための推奨とオープンな課題に抽出する。
論文 参考訳（メタデータ） (2024-02-26T18:00:49Z) - TrustLLM: Trustworthiness in Large Language Models [446.5640421311468]
本稿では,大規模言語モデル(LLM)における信頼度に関する総合的研究であるTrustLLMを紹介する。
まず、8つの異なる次元にまたがる信頼性の高いLCMの原則を提案する。
これらの原則に基づいて、真理性、安全性、公正性、堅牢性、プライバシ、機械倫理を含む6つの次元にわたるベンチマークを確立します。
論文 参考訳（メタデータ） (2024-01-10T22:07:21Z) - Unveiling the Hidden Agenda: Biases in News Reporting and Consumption [59.55900146668931]
イタリアのワクチン論争に関する6年間のデータセットを構築し、物語と選択バイアスを特定するためにベイジアン潜在空間モデルを採用する。
バイアスとエンゲージメントの間に非線形な関係が見られ、極端な位置へのエンゲージメントが高くなった。
Twitter上でのニュース消費の分析は、同様のイデオロギー的な立場のニュースメディアの間で、一般的なオーディエンスを明らかにしている。
論文 参考訳（メタデータ） (2023-01-14T18:58:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。