論文の概要: Fact-checking information generated by a large language model can decrease news discernment

• arxiv url: http://arxiv.org/abs/2308.10800v3
• Date: Tue, 26 Dec 2023 18:20:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 22:08:53.581419
• Title: Fact-checking information generated by a large language model can decrease news discernment
• Title（参考訳）: 大きな言語モデルによって生成されたファクトチェック情報は、ニュース識別を減少させる
• Authors: Matthew R. DeVerna, Harry Yaojun Yan, Kai-Cheng Yang, Filippo Menczer
• Abstract要約: 本稿では,一般的な大言語モデルが生成した事実確認情報が,政治ニュースの信条や共有意図に与える影響について検討する。 被験者が見出しの正確さを識別したり、正確なニュースを共有したりする能力には影響しないことがわかった。 ポジティブな面では、AIファクトチェック情報は、正しくラベル付けされた真の見出しの共有意図を高める。
• 参考スコア（独自算出の注目度）: 7.444681337745949
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fact checking can be an effective strategy against misinformation, but its implementation at scale is impeded by the overwhelming volume of information online. Recent artificial intelligence (AI) language models have shown impressive ability in fact-checking tasks, but how humans interact with fact-checking information provided by these models is unclear. Here, we investigate the impact of fact-checking information generated by a popular large language model (LLM) on belief in, and sharing intent of, political news in a preregistered randomized control experiment. Although the LLM performs reasonably well in debunking false headlines, we find that it does not significantly affect participants' ability to discern headline accuracy or share accurate news. Subsequent analysis reveals that the AI fact-checker is harmful in specific cases: it decreases beliefs in true headlines that it mislabels as false and increases beliefs in false headlines that it is unsure about. On the positive side, the AI fact-checking information increases sharing intents for correctly labeled true headlines. When participants are given the option to view LLM fact checks and choose to do so, they are significantly more likely to share both true and false news but only more likely to believe false news. Our findings highlight an important source of potential harm stemming from AI applications and underscore the critical need for policies to prevent or mitigate such unintended consequences.
• Abstract（参考訳）: ファクトチェックは誤情報に対する効果的な戦略であるが、その大規模実装はオンライン情報の圧倒的な量によって妨げられる。 近年の人工知能(AI)言語モデルでは,事実確認タスクにおいて顕著な能力を発揮している。 本稿では,一般的な大言語モデル(LLM)が生成した事実確認情報が,事前登録されたランダム化制御実験における政治的ニュースの信条および共有意図に与える影響について検討する。 LLMは、偽の見出しを引用する上で合理的に機能するが、参加者が見出しの正確さを識別したり、正確なニュースを共有する能力にはあまり影響しない。 その後の分析では、AIファクトチェッカーは特定のケースでは有害であることが明らかになっている。 ポジティブな面では、AIファクトチェック情報は、正しくラベル付けされた真の見出しの共有意図を高める。 参加者がLSMのファクトチェックを閲覧してそれを選択するオプションが与えられると、真偽のニュースと偽のニュースの両方を共有する傾向が著しく高くなるが、偽のニュースを信じる傾向は極めて高い。 我々の発見は、AIアプリケーションから生じる潜在的な害の重大な原因を浮き彫りにし、意図しない結果の防止や緩和のための政策のクリティカルな必要性を浮き彫りにしている。

関連論文リスト

• MisinfoEval: Generative AI in the Era of "Alternative Facts" [50.069577397751175]
  本稿では,大規模言語モデル(LLM)に基づく誤情報介入の生成と評価を行うフレームワークを提案する。 本研究では,(1)誤情報介入の効果を測定するための模擬ソーシャルメディア環境の実験,(2)ユーザの人口動態や信念に合わせたパーソナライズされた説明を用いた第2の実験について述べる。 以上の結果から,LSMによる介入はユーザの行動の修正に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-10-13T18:16:50Z)
• Measuring Falseness in News Articles based on Concealment and Overstatement [5.383724566787227]
  本研究では,特定のジャーナリスト記事における誤報の程度について検討する。 2つの指標(認識と過剰表現)を用いて誤情報を測定することを目的としている。
  論文  参考訳（メタデータ） (2024-07-31T20:45:56Z)
• The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
  大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。 語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。 本研究は, 文脈情報を用いたLLMの高度化を示すものである。 LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
  論文  参考訳（メタデータ） (2023-10-20T14:49:47Z)
• News Verifiers Showdown: A Comparative Performance Evaluation of ChatGPT 3.5, ChatGPT 4.0, Bing AI, and Bard in News Fact-Checking [0.0]
  OpenAIのChatGPT 3.5と4.0、GoogleのBard(LaMDA)、MicrosoftのBing AIが評価された。 その結果、全てのモデルで適度な熟練度を示し、平均スコアは100点中65.25点だった。 OpenAIのGPT-4.0のスコアは71であり、偽造と事実を区別する新しいLSMの能力の限界が示唆された。
  論文  参考訳（メタデータ） (2023-06-18T04:30:29Z)
• Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation [67.69725605939315]
  誤報は、信頼できる情報が限られている不確実な時に現れる。 NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
  論文  参考訳（メタデータ） (2022-10-25T09:40:48Z)
• Deceptive AI Systems That Give Explanations Are Just as Convincing as Honest AI Systems in Human-Machine Decision Making [38.71592583606443]
  真実と偽の情報を見分ける能力は、健全な決定を下す上で不可欠である。 近年、AIに基づく偽情報キャンペーンが増加し、人間の情報処理に対する偽情報システムの影響を理解することが重要になっている。
  論文  参考訳（メタデータ） (2022-09-23T20:09:03Z)
• FakeNewsLab: Experimental Study on Biases and Pitfalls Preventing us from Distinguishing True from False News [0.2741266294612776]
  この研究は、偽ニュースデータセットを構築する際に、人間のアノテータに影響を与える一連の落とし穴を強調している。 また、ユーザーが再共有する前に記事全体を読むことを推奨する、AIの一般的な理論的根拠にも異議を唱えている。
  論文  参考訳（メタデータ） (2021-10-22T12:02:16Z)
• Misinfo Belief Frames: A Case Study on Covid & Climate News [49.979419711713795]
  読者がニュースの信頼性や誤った情報の影響をどのように認識するかを理解するための形式主義を提案する。 23.5kの見出しに66kの推論データセットであるMisinfo Belief Frames (MBF) corpusを紹介する。 大規模言語モデルを用いて誤情報フレームを予測した結果,機械生成推論がニュース見出しに対する読者の信頼に影響を及ぼすことがわかった。
  論文  参考訳（メタデータ） (2021-04-18T09:50:11Z)
• Causal Understanding of Fake News Dissemination on Social Media [50.4854427067898]
  我々は、ユーザーがフェイクニュースを共有するのに、ユーザー属性が何をもたらすかを理解することが重要だと論じている。 偽ニュース拡散において、共同創設者は、本質的にユーザー属性やオンライン活動に関連する偽ニュース共有行動によって特徴づけられる。 本稿では,偽ニュース拡散における選択バイアスを軽減するための原則的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-20T19:37:04Z)
• Machine Learning Explanations to Prevent Overtrust in Fake News Detection [64.46876057393703]
  本研究では、ニュースレビュープラットフォームに組み込んだ説明可能なAIアシスタントが、フェイクニュースの拡散と戦う効果について検討する。 我々は、ニュースレビューと共有インターフェースを設計し、ニュース記事のデータセットを作成し、4つの解釈可能なフェイクニュース検出アルゴリズムを訓練する。 説明可能なAIシステムについてより深く理解するために、説明プロセスにおけるユーザエンゲージメント、メンタルモデル、信頼、パフォーマンス対策の相互作用について議論する。
  論文  参考訳（メタデータ） (2020-07-24T05:42:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。