論文の概要: A Drop of Ink Makes a Million Think: The Spread of False Information in Large Language Models

• arxiv url: http://arxiv.org/abs/2305.04812v2
• Date: Thu, 25 May 2023 06:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 20:08:12.618224
• Title: A Drop of Ink Makes a Million Think: The Spread of False Information in Large Language Models
• Title（参考訳）: インクの一滴が100万の思考を生み出す - 大規模言語モデルにおける偽情報の拡散
• Authors: Ning Bian, Peilin Liu, Xianpei Han, Hongyu Lin, Yaojie Lu, Ben He, Le Sun
• Abstract要約: 大規模言語モデル (LLM) において, 偽情報がどのように拡散し, 関連する応答に影響を及ぼすかを検討する。 偽情報は、その直接的な影響を超えて、世界的な有害な影響を及ぼす。 現在の LLM は権威バイアスの影響を受けやすい、すなわち LLM は信頼に値するスタイルで提示された偽情報に従う傾向にある。
• 参考スコア（独自算出の注目度）: 42.44508771537717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have gained increasing prominence in artificial intelligence, making a profound impact on society and various industries like business and science. However, the presence of false information on the internet and in text corpus poses a significant risk to the reliability and safety of LLMs, underscoring the urgent need to understand the mechanisms of how false information influences the behaviors of LLMs. In this paper, we dive into this problem and investigate how false information spreads in LLMs and affects related responses. Specifically, in our series of experiments, we investigate different factors that can influence the spread of information in LLMs by comparing three degrees of information relevance (direct, indirect, and peripheral), four information source styles (Twitter, web blogs, news reports, and research papers) and two common knowledge injection paradigms (in-context injection and learning-based injection). The experimental results show that (1)False information will spread and contaminate related memories in LLMs via a semantic diffusion process, i.e., false information has global detrimental effects beyond its direct impact. (2)Current LLMs are susceptible to authority bias, i.e., LLMs are more likely to follow false information presented in trustworthy styles such as news reports and research papers, which usually cause deeper and wider pollution of information. (3)Current LLMs are more sensitive to false information through in-context injection than through learning-based injection, which severely challenges the reliability and safety of LLMs even when all training data are trusty and correct. The above findings raise the need for new false information defense algorithms to address the global impact of false information, and new alignment algorithms to unbiasedly lead LLMs to follow essential human values rather than superficial patterns.
• Abstract（参考訳）: 大規模言語モデル(llm)は、人工知能において注目を集め、社会やビジネスや科学といった様々な産業に大きな影響を与えている。 しかし、インターネットやテキストコーパスにおける偽情報の存在は、LLMの信頼性と安全性に重大なリスクをもたらし、偽情報がLLMの行動にどのように影響するかのメカニズムを緊急に理解する必要があることを強調している。 本稿では,この問題を掘り下げ,LLMにおける偽情報の拡散が関連する応答に与える影響を考察する。 具体的には,3つの情報関連度(間接的,間接的,周辺的),4つの情報ソーススタイル(twitter,webブログ,ニュースレポート,研究論文),および2つの共通知識注入パラダイム(インコンテキストインジェクションと学習ベースのインジェクション)を比較し,llmにおける情報の拡散に影響を与える要因について検討した。 実験の結果,(1)false情報は,意味拡散過程を通じてllm内の関連記憶を拡散・汚染し,その直接的な影響を超えた世界的な有害な影響を有することがわかった。 2)現在のLLMは、権限バイアスの影響を受けやすいため、ニュースや研究論文などの信頼できるスタイルで提示された偽情報に従う傾向が強く、情報のより深い汚染を引き起こすことが多い。 (3)現在のLLMは,学習ベースインジェクションよりもコンテキスト内インジェクションによる偽情報に敏感であり,すべてのトレーニングデータが信頼性と正確である場合でも,LLMの信頼性と安全性を著しく損なう。 以上の知見は、偽情報のグローバルな影響に対処するための新しい偽情報防御アルゴリズムの必要性を提起し、LLMが表面的なパターンではなく、本質的な人間の価値に従うことを不偏に導く新しいアライメントアルゴリズムの必要性を提起する。

関連論文リスト

• Persuasion with Large Language Models: a Survey [49.86930318312291]
  大規模言語モデル (LLM) は説得力のあるコミュニケーションに新たな破壊的可能性を生み出している。 政治、マーケティング、公衆衛生、電子商取引、慈善事業などの分野では、LLMシステムズは既に人間レベルや超人的説得力を達成している。 LLMをベースとした説得の現在と将来の可能性は、倫理的・社会的リスクを著しく引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-11-11T10:05:52Z)
• AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment [37.985947029716016]
  大規模言語モデル(LLM)は高度な理解能力を示しているが、トレーニングデータから人間のバイアスを継承する可能性がある。 関連判定におけるしきい値プライミング効果の影響について検討した。
  論文  参考訳（メタデータ） (2024-09-24T12:23:15Z)
• Investigating Context Effects in Similarity Judgements in Large Language Models [6.421776078858197]
  大規模言語モデル(LLM)は、自然言語テキストの理解と生成におけるAIモデルの能力に革命をもたらした。 命令バイアスによる人的判断とLCMのアライメントに関する調査が進行中である。
  論文  参考訳（メタデータ） (2024-08-20T10:26:02Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• Exploring the Frontiers of LLMs in Psychological Applications: A Comprehensive Review [4.147674289030404]
  大規模言語モデル(LLM)は、人間の認知と行動の側面をシミュレートする可能性がある。 LLMは、文献レビュー、仮説生成、実験的なデザイン、実験的な主題、データ分析、学術的な執筆、心理学におけるピアレビューのための革新的なツールを提供する。 データプライバシ、心理的研究にLLMを使うことの倫理的意味、モデルの制限をより深く理解する必要がある、といった問題があります。
  論文  参考訳（メタデータ） (2024-01-03T03:01:29Z)
• Do LLM Agents Exhibit Social Behavior? [5.094340963261968]
  State-Understanding-Value-Action (SUVA) は、社会的文脈における応答を体系的に分析するフレームワークである。 最終決定とそれにつながる反応生成プロセスの両方を通じて社会的行動を評価する。 発話に基づく推論がLLMの最終動作を確実に予測できることを実証する。
  論文  参考訳（メタデータ） (2023-12-23T08:46:53Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks [49.60689355674541]
  認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。 この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。 大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
  論文  参考訳（メタデータ） (2023-10-30T15:57:32Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。