論文の概要: A Drop of Ink Makes a Million Think: The Spread of False Information in
Large Language Models
- arxiv url: http://arxiv.org/abs/2305.04812v2
- Date: Thu, 25 May 2023 06:59:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 20:08:12.618224
- Title: A Drop of Ink Makes a Million Think: The Spread of False Information in
Large Language Models
- Title(参考訳): インクの一滴が100万の思考を生み出す - 大規模言語モデルにおける偽情報の拡散
- Authors: Ning Bian, Peilin Liu, Xianpei Han, Hongyu Lin, Yaojie Lu, Ben He, Le
Sun
- Abstract要約: 大規模言語モデル (LLM) において, 偽情報がどのように拡散し, 関連する応答に影響を及ぼすかを検討する。
偽情報は、その直接的な影響を超えて、世界的な有害な影響を及ぼす。
現在の LLM は権威バイアスの影響を受けやすい、すなわち LLM は信頼に値するスタイルで提示された偽情報に従う傾向にある。
- 参考スコア(独自算出の注目度): 42.44508771537717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have gained increasing prominence in artificial
intelligence, making a profound impact on society and various industries like
business and science. However, the presence of false information on the
internet and in text corpus poses a significant risk to the reliability and
safety of LLMs, underscoring the urgent need to understand the mechanisms of
how false information influences the behaviors of LLMs. In this paper, we dive
into this problem and investigate how false information spreads in LLMs and
affects related responses. Specifically, in our series of experiments, we
investigate different factors that can influence the spread of information in
LLMs by comparing three degrees of information relevance (direct, indirect, and
peripheral), four information source styles (Twitter, web blogs, news reports,
and research papers) and two common knowledge injection paradigms (in-context
injection and learning-based injection). The experimental results show that
(1)False information will spread and contaminate related memories in LLMs via a
semantic diffusion process, i.e., false information has global detrimental
effects beyond its direct impact. (2)Current LLMs are susceptible to authority
bias, i.e., LLMs are more likely to follow false information presented in
trustworthy styles such as news reports and research papers, which usually
cause deeper and wider pollution of information. (3)Current LLMs are more
sensitive to false information through in-context injection than through
learning-based injection, which severely challenges the reliability and safety
of LLMs even when all training data are trusty and correct. The above findings
raise the need for new false information defense algorithms to address the
global impact of false information, and new alignment algorithms to unbiasedly
lead LLMs to follow essential human values rather than superficial patterns.
- Abstract(参考訳): 大規模言語モデル(llm)は、人工知能において注目を集め、社会やビジネスや科学といった様々な産業に大きな影響を与えている。
しかし、インターネットやテキストコーパスにおける偽情報の存在は、LLMの信頼性と安全性に重大なリスクをもたらし、偽情報がLLMの行動にどのように影響するかのメカニズムを緊急に理解する必要があることを強調している。
本稿では,この問題を掘り下げ,LLMにおける偽情報の拡散が関連する応答に与える影響を考察する。
具体的には,3つの情報関連度(間接的,間接的,周辺的),4つの情報ソーススタイル(twitter,webブログ,ニュースレポート,研究論文),および2つの共通知識注入パラダイム(インコンテキストインジェクションと学習ベースのインジェクション)を比較し,llmにおける情報の拡散に影響を与える要因について検討した。
実験の結果,(1)false情報は,意味拡散過程を通じてllm内の関連記憶を拡散・汚染し,その直接的な影響を超えた世界的な有害な影響を有することがわかった。
2)現在のLLMは、権限バイアスの影響を受けやすいため、ニュースや研究論文などの信頼できるスタイルで提示された偽情報に従う傾向が強く、情報のより深い汚染を引き起こすことが多い。
(3)現在のLLMは,学習ベースインジェクションよりもコンテキスト内インジェクションによる偽情報に敏感であり,すべてのトレーニングデータが信頼性と正確である場合でも,LLMの信頼性と安全性を著しく損なう。
以上の知見は、偽情報のグローバルな影響に対処するための新しい偽情報防御アルゴリズムの必要性を提起し、LLMが表面的なパターンではなく、本質的な人間の価値に従うことを不偏に導く新しいアライメントアルゴリズムの必要性を提起する。
関連論文リスト
- How Susceptible are Large Language Models to Ideological Manipulation? [15.66231562682167]
大規模言語モデル(LLM)は、大衆の認識や情報との相互作用に大きな影響を与える可能性がある。
このことは、これらのモデル内のイデオロギーを容易に操作できれば生じる可能性のある社会的影響に関する懸念を提起する。
論文 参考訳(メタデータ) (2024-02-18T22:36:19Z) - Exploring the Frontiers of LLMs in Psychological Applications: A Comprehensive Review [4.147674289030404]
大規模言語モデル(LLM)は、人間の認知と行動の側面をシミュレートする可能性がある。
LLMは、文献レビュー、仮説生成、実験的なデザイン、実験的な主題、データ分析、学術的な執筆、心理学におけるピアレビューのための革新的なツールを提供する。
データプライバシ、心理的研究にLLMを使うことの倫理的意味、モデルの制限をより深く理解する必要がある、といった問題があります。
論文 参考訳(メタデータ) (2024-01-03T03:01:29Z) - RECALL: A Benchmark for LLMs Robustness against External Counterfactual
Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。
本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文 参考訳(メタデータ) (2023-11-14T13:24:19Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳(メタデータ) (2023-10-30T15:57:32Z) - "Merge Conflicts!" Exploring the Impacts of External Distractors to
Parametric Knowledge Graphs [15.660128743249611]
大規模言語モデル(LLM)は、パラメトリック知識として知られる事前学習中に広範な知識を取得する。
LLMは必然的にユーザとの対話中に外部知識を必要とする。
外部知識がパラメトリック知識に干渉した場合、LCMはどのように反応するのだろうか?
論文 参考訳(メタデータ) (2023-09-15T17:47:59Z) - Emotionally Numb or Empathetic? Evaluating How LLMs Feel Using EmotionBench [83.41621219298489]
我々は,Large Language Models (LLM) の共感能力を評価することを提案する。
我々は、研究の中心となる8つの感情を引き出すのに有効な400以上の状況を含むデータセットを収集した。
我々は世界中の1200人以上の被験者を対象に人間による評価を行った。
論文 参考訳(メタデータ) (2023-08-07T15:18:30Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Thinking Fast and Slow in Large Language Models [0.08057006406834465]
大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を結び付けるAIシステムの最前線にある。
本研究では, GPT-3 のような LLM は人間の直感に類似した行動を示し,それに伴う認知的誤りを示す。
論文 参考訳(メタデータ) (2022-12-10T05:07:30Z) - Evaluating and Inducing Personality in Pre-trained Language Models [78.19379997967191]
人間の個性理論を機械行動研究のツールとして活用することで,心理測定研究からインスピレーションを得た。
これらの疑問に答えるために,機械の動作を研究するためのMachine Personality Inventory(MPI)ツールを紹介した。
MPIは、ビッグファイブ・パーソナリティ・ファクター(Big Five Personality Factors、ビッグファイブ・パーソナリティ・ファクター)理論とパーソナリティ評価在庫に基づく標準化されたパーソナリティ・テストに従う。
パーソナリティ・プロンプト法(P2法)を考案し、特定のパーソナリティを持つLSMを制御可能な方法で誘導する。
論文 参考訳(メタデータ) (2022-05-20T07:32:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。