論文の概要: Large language models can rate news outlet credibility
- arxiv url: http://arxiv.org/abs/2304.00228v1
- Date: Sat, 1 Apr 2023 05:04:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 19:13:50.859963
- Title: Large language models can rate news outlet credibility
- Title(参考訳): 大規模言語モデルはニュースソースの信頼性を評価できる
- Authors: Kai-Cheng Yang and Filippo Menczer
- Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて例外的な性能を示している。
ここでは、著名なLCMであるChatGPTが、ニュースメディアの信頼性を評価することができるかどうかを評価する。
以上の結果から,これらの評価は人的専門家の評価と相関していることがわかった。
- 参考スコア(独自算出の注目度): 6.147741269183294
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Although large language models (LLMs) have shown exceptional performance in
various natural language processing tasks, they are prone to hallucinations.
State-of-the-art chatbots, such as the new Bing, attempt to mitigate this issue
by gathering information directly from the internet to ground their answers. In
this setting, the capacity to distinguish trustworthy sources is critical for
providing appropriate accuracy contexts to users. Here we assess whether
ChatGPT, a prominent LLM, can evaluate the credibility of news outlets. With
appropriate instructions, ChatGPT can provide ratings for a diverse set of news
outlets, including those in non-English languages and satirical sources, along
with contextual explanations. Our results show that these ratings correlate
with those from human experts (Spearmam's $\rho=0.54, p<0.001$). These findings
suggest that LLMs could be an affordable reference for credibility ratings in
fact-checking applications. Future LLMs should enhance their alignment with
human expert judgments of source credibility to improve information accuracy.
- Abstract(参考訳): 大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて例外的な性能を示したが、幻覚の傾向にある。
新しいBingのような最先端のチャットボットは、インターネットから直接情報を収集して回答を土台にすることでこの問題を緩和しようとしている。
この設定では、信頼できる情報源を識別する能力は、ユーザに適切な精度のコンテキストを提供することに不可欠である。
ここでは、著名なLCMであるChatGPTが、ニュースメディアの信頼性を評価することができるかどうかを評価する。
適切な指示により、ChatGPTは、文脈的説明とともに、非英語や風刺的な情報源を含む様々なニュースメディアに対して評価を提供することができる。
以上の結果から, これらの評価は人間の専門家(Spearmam's $\rho=0.54, p<0.001$)と相関することがわかった。
これらの結果から,LCMはファクトチェックアプリケーションにおける信頼性評価の安価な基準となる可能性が示唆された。
将来のllmは、情報精度を向上させるために、情報源信頼性の人間的専門家判断との整合を強化するべきである。
関連論文リスト
- Lost in the Source Language: How Large Language Models Evaluate the
Quality of Machine Translation [68.43666295024714]
大規模言語モデル (LLM) は機械翻訳評価タスクにおいて顕著な成果を上げている。
本研究は,LLMが翻訳評価においてソース情報と参照情報をどのように活用するかを検討することを目的とする。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - A Revisit of Fake News Dataset with Augmented Fact-checking by ChatGPT [8.363702038073814]
既存の偽ニュース検出データセットは、人間のジャーナリストから提供されています。
本稿では,人間のジャーナリストが検証した既存の偽ニュースデータセットを再検討し,大規模言語モデルによるファクトチェックの強化を行った。
論文 参考訳(メタデータ) (2023-12-19T05:46:11Z) - Disinformation Capabilities of Large Language Models [0.564232659769944]
本稿では,現在世代の大言語モデル(LLM)の非情報化能力について述べる。
20個の偽情報物語を用いた10個のLDMの能力評価を行った。
LLMは、危険な偽情報の物語に一致する説得力のあるニュース記事を生成することができると結論付けている。
論文 参考訳(メタデータ) (2023-11-15T10:25:30Z) - The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。
語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。
本研究は, 文脈情報を用いたLLMの高度化を示すものである。
LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
論文 参考訳(メタデータ) (2023-10-20T14:49:47Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - Fake News Detectors are Biased against Texts Generated by Large Language
Models [39.36284616311687]
フェイクニュースの拡散は、信頼を弱め、社会への脅威を訴える重要な課題として浮上している。
本稿では,人間の書き起こしとLLM生成の両方の誤情報を含むシナリオにおいて,偽ニュース検知器を評価するための新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-09-15T18:04:40Z) - "According to ...": Prompting Language Models Improves Quoting from
Pre-Training Data [52.03853726206584]
LLM(Large Language Models)は、実データに基づいて事前訓練されているにもかかわらず、幻覚と偽情報を生成する。
本稿では,従来観察されていたテキストに対してLLMを接地応答に誘導する手法を提案する。
基礎となるテキストコーパスにモデル生成回答が直接現れる範囲を計測する新しい評価指標(QUIP-Score)を提案する。
論文 参考訳(メタデータ) (2023-05-22T17:25:24Z) - ChatGPT-4 Outperforms Experts and Crowd Workers in Annotating Political
Twitter Messages with Zero-Shot Learning [0.0]
本稿では、ツイートの内容に基づいて、Twitterポスターの政治的関連を分類するテキスト分析タスクにおいて、Large Language Model (LLM) ChatGPT-4の精度、信頼性、バイアスを評価する。
2020年の大統領選挙では、米国政治家のTwitterメッセージを使い、正確さを測定するための根拠となる真実を提供します。
論文 参考訳(メタデータ) (2023-04-13T14:51:40Z) - Multiverse: Multilingual Evidence for Fake News Detection [71.51905606492376]
Multiverseは、偽ニュースの検出に使用できる多言語エビデンスに基づく新機能である。
偽ニュース検出機能としての言語間証拠の使用仮説を確認した。
論文 参考訳(メタデータ) (2022-11-25T18:24:17Z) - Explainable Tsetlin Machine framework for fake news detection with
credibility score assessment [16.457778420360537]
本稿では,最近導入されたTsetlin Machine (TM) に基づく,新たな解釈可能な偽ニュース検出フレームワークを提案する。
我々は、TMの接続節を用いて、真偽のニューステキストの語彙的および意味的特性をキャプチャする。
評価のために、PolitiFactとGossipCopという2つの公開データセットで実験を行い、TMフレームワークが以前公開されたベースラインを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2021-05-19T13:18:02Z) - Viable Threat on News Reading: Generating Biased News Using Natural
Language Models [49.90665530780664]
公開されている言語モデルは、入力されたオリジナルニュースに基づいてバイアスのあるニュースコンテンツを確実に生成できることを示す。
また、制御可能なテキスト生成を用いて、多数の高品質な偏りのあるニュース記事を生成することができることを示す。
論文 参考訳(メタデータ) (2020-10-05T16:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。