論文の概要: Accuracy and Political Bias of News Source Credibility Ratings by Large Language Models
- arxiv url: http://arxiv.org/abs/2304.00228v2
- Date: Sat, 10 Aug 2024 02:09:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 01:18:22.952239
- Title: Accuracy and Political Bias of News Source Credibility Ratings by Large Language Models
- Title(参考訳): 大規模言語モデルによるニュースソースの信頼性評価の精度と政治的バイアス
- Authors: Kai-Cheng Yang, Filippo Menczer,
- Abstract要約: 本稿では,3大プロバイダから広く利用されている8つの言語モデル(LLM)を評価し,信頼性と高品質な情報ソースを識別する能力を評価する。
より大規模なモデルは、情報不足のために評価の提供を拒否する傾向にあるのに対して、より小さなモデルは、その評価において幻覚を起こす傾向にある。
- 参考スコア(独自算出の注目度): 8.367075755850983
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Search engines increasingly leverage large language models (LLMs) to generate direct answers, and AI chatbots now access the Internet for fresh data. As information curators for billions of users, LLMs must assess the accuracy and reliability of different sources. This paper audits eight widely used LLMs from three major providers -- OpenAI, Google, and Meta -- to evaluate their ability to discern credible and high-quality information sources from low-credibility ones. We find that while LLMs can rate most tested news outlets, larger models more frequently refuse to provide ratings due to insufficient information, whereas smaller models are more prone to hallucination in their ratings. For sources where ratings are provided, LLMs exhibit a high level of agreement among themselves (average Spearman's $\rho = 0.81$), but their ratings align only moderately with human expert evaluations (average $\rho = 0.59$). Analyzing news sources with different political leanings in the US, we observe a liberal bias in credibility ratings yielded by all LLMs in default configurations. Additionally, assigning partisan identities to LLMs consistently results in strong politically congruent bias in the ratings. These findings have important implications for the use of LLMs in curating news and political information.
- Abstract(参考訳): 検索エンジンはますます大きな言語モデル(LLM)を活用して直接的な回答を生成するようになり、AIチャットボットは新鮮なデータのためにインターネットにアクセスするようになった。
数十億のユーザのための情報キュレーターとして、LLMは異なるソースの正確性と信頼性を評価する必要がある。
本稿は,OpenAI,Google,Metaの3大プロバイダから広く使用されている8つのLCMを監査し,信頼性と高品質な情報ソースを低信頼性のプロバイダから識別する能力を評価する。
LLMは、ほとんどのテストされたニュースメディアを評価できるが、より大規模なモデルは、情報不足のために評価の提供を拒否する傾向にあるのに対し、より小さなモデルは、その評価において幻覚を起こす傾向にある。
評価が提供される資料では、LLMは彼らの間で高いレベルの合意(平均的スピアマンの$\rho = 0.81$)を示すが、その評価は人間の専門家による評価(平均的$\rho = 0.59$)と適度に一致している。
米国内で異なる政治的傾向を持つニュースソースを分析し、デフォルト設定で全てのLCMが獲得する信頼性評価のリベラルな偏見を観察する。
加えて、LDMに党派的アイデンティティを割り当てることは、評価において政治的に矛盾する強いバイアスをもたらす。
これらの知見は、ニュースや政治情報の収集にLLMを使うことに重要な意味を持つ。
関連論文リスト
- Seeing Through AI's Lens: Enhancing Human Skepticism Towards LLM-Generated Fake News [0.38233569758620056]
本稿は,人間とLLMで作成する物品を個人が識別する簡単なマーカーを解明することを目的としている。
次に、情報理論とエントロピー原理に基づいて、エントロピーシフトオーサリングシグナチャ(ESAS)と呼ばれるメトリクスを考案する。
提案されたESASは、記事の著者の識別に関する関連性に基づいて、POSタグのような用語やエンティティをニュース記事にランク付けする。
論文 参考訳(メタデータ) (2024-06-20T06:02:04Z) - Open Source Conversational LLMs do not know most Spanish words [2.737783055857426]
我々は,オープンソースチャットLLMがスペイン語の単語に対して持つ知識を,参照辞書における単語のサンプルをテストすることによって評価する。
その結果、オープンソースのチャットLLMは、単語の重要部分に対して誤った意味を生じさせ、文脈で文章を書くためにほとんどの単語を正しく利用できないことがわかった。
論文 参考訳(メタデータ) (2024-03-21T15:41:02Z) - Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。
参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。
語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。
本研究は, 文脈情報を用いたLLMの高度化を示すものである。
LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
論文 参考訳(メタデータ) (2023-10-20T14:49:47Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - Fake News Detectors are Biased against Texts Generated by Large Language
Models [39.36284616311687]
フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。
本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-09-15T18:04:40Z) - "According to ...": Prompting Language Models Improves Quoting from
Pre-Training Data [52.03853726206584]
LLM(Large Language Models)は、実データに基づいて事前訓練されているにもかかわらず、幻覚と偽情報を生成する。
本稿では,従来観察されていたテキストに対してLLMを接地応答に誘導する手法を提案する。
基礎となるテキストコーパスにモデル生成回答が直接現れる範囲を計測する新しい評価指標(QUIP-Score)を提案する。
論文 参考訳(メタデータ) (2023-05-22T17:25:24Z) - ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political
Twitter Messages with Zero-Shot Learning [0.0]
本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。
2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。
論文 参考訳(メタデータ) (2023-04-13T14:51:40Z) - Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。
偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
論文 参考訳(メタデータ) (2022-11-25T18:24:17Z) - Explainable Tsetlin Machine framework for fake news detection with
credibility score assessment [16.457778420360537]
本稿では,最近導入されたTsetlin Machine (TM) に基づく,新たな解釈可能な偽ニュース検出フレームワークを提案する。
我々は、TMの接続節を用いて、真偽のニューステキストの語彙的および意味的特性をキャプチャする。
評価のために、PolitiFactとGossipCopという2つの公開データセットで実験を行い、TMフレームワークが以前公開されたベースラインを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2021-05-19T13:18:02Z) - Viable Threat on News Reading: Generating Biased News Using Natural
Language Models [49.90665530780664]
公開されている言語モデルは、入力されたオリジナルニュースに基づいてバイアスのあるニュースコンテンツを確実に生成できることを示す。
また、制御可能なテキスト生成を用いて、多数の高品質な偏りのあるニュース記事を生成することができることを示す。
論文 参考訳(メタデータ) (2020-10-05T16:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。