論文の概要: People will agree what I think: Investigating LLM's False Consensus Effect

• arxiv url: http://arxiv.org/abs/2407.12007v1
• Date: Sun, 16 Jun 2024 03:29:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 11:30:12.140520
• Title: People will agree what I think: Investigating LLM's False Consensus Effect
• Title（参考訳）: LLMのFalse Consensus効果の調査
• Authors: Junhyuk Choi, Yeseon Hong, Bugeun Kim,
• Abstract要約: 大規模言語モデル(LLM)は通信を必要とする対話型システムに広く採用されている。 モデルに対する誤った信念は、そのようなシステムのユーザビリティを損なう可能性があるため、LLMは人間が持っている認知バイアスを持ってはならない。 本稿では,偽の信念を反映してコミュニケーションを円滑に行うFalse Consensus Effect (FCE)に焦点を当てた。
• 参考スコア（独自算出の注目度）: 2.3983762254195593
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large Language Models (LLMs) have recently been widely adopted on interactive systems requiring communications. As the false belief in a model can harm the usability of such systems, LLMs should not have cognitive biases that humans have. Especially psychologists focused on the False Consensus Effect (FCE), which can distract smooth communication by posing false beliefs. However, previous studies have less examined FCE in LLMs thoroughly, which needs more consideration of confounding biases, general situations, and prompt changes. Therefore, in this paper, we conduct two studies to deeply examine the FCE phenomenon in LLMs. In Study 1, we investigate whether LLMs have FCE. In Study 2, we explore how various prompting styles affect the demonstration of FCE. As a result of these studies, we identified that popular LLMs have FCE. Also, the result specifies the conditions when the strength of FCE becomes larger or smaller compared to normal usage.
• Abstract（参考訳）: 大規模言語モデル(LLM)は通信を必要とする対話型システムに広く採用されている。 モデルに対する誤った信念は、そのようなシステムのユーザビリティを損なう可能性があるため、LLMは人間が持っている認知バイアスを持ってはならない。 特に心理学者は、虚偽の信念を装い、円滑なコミュニケーションを阻害するFalse Consensus Effect(FCE)に焦点を当てた。 しかし、従来の研究では、LLMにおけるFCEの徹底的な検討が少なかったため、偏見、一般的な状況、変化の速さをより考慮する必要がある。 そこで本研究では,LLMにおけるFCE現象を深く研究する2つの研究を行った。 研究1では, LLM が FCE を持つかどうかを検討した。 研究2では、様々なプロンプトスタイルがFCEの実証にどのように影響するかを探る。 これらの結果,LLMにFCEがあることが判明した。 また、FCEの強度が通常の使用量よりも大きくなった場合の条件も規定する。

関連論文リスト

• AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment [37.985947029716016]
  大規模言語モデル(LLM)は高度な理解能力を示しているが、トレーニングデータから人間のバイアスを継承する可能性がある。 関連判定におけるしきい値プライミング効果の影響について検討した。
  論文  参考訳（メタデータ） (2024-09-24T12:23:15Z)
• AI Meets the Classroom: When Does ChatGPT Harm Learning? [0.0]
  我々は,生成型AI,特に大規模言語モデル(LLM)がプログラミングクラスにおける学習に与える影響について検討する。 LLMの使用が学習結果に肯定的,否定的な影響を及ぼす可能性が3つの研究で示された。
  論文  参考訳（メタデータ） (2024-08-29T17:07:46Z)
• To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity [27.10502683001428]
  本稿では, 実体型あいまいさに着目し, 不明瞭な実体を刺激した場合の事実知識の適用において, 最先端のLCMの習熟度と一貫性を解析する。 実験の結果、LLMは正しいエンティティの読み取りを選択するのに苦労し、平均精度は85%、未特定のプロンプトで75%と低いことがわかった。
  論文  参考訳（メタデータ） (2024-07-24T09:48:48Z)
• A Comprehensive Evaluation on Event Reasoning of Large Language Models [68.28851233753856]
  LLMが、様々な関係や推論パラダイムに基づいたイベント推論をいかにうまく達成するかは、いまだに不明である。 本稿ではEVent推論のEValuationのための新しいベンチマークEV2を紹介する。 LLMにはイベント推論を実現する能力があるが、その性能は十分ではない。
  論文  参考訳（メタデータ） (2024-04-26T16:28:34Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• Generative Echo Chamber? Effects of LLM-Powered Search Systems on Diverse Information Seeking [49.02867094432589]
  大規模言語モデル(LLM)を利用した対話型検索システムは、すでに数億人の人々が利用している。 評価バイアスのあるLCMが, ユーザの視点を補強したり, 異議を申し立てたりすることで, 効果が変化するか, どのように変化するかを検討する。
  論文  参考訳（メタデータ） (2024-02-08T18:14:33Z)
• How should the advent of large language models affect the practice of science? [51.62881233954798]
  大規模言語モデルの出現は科学の実践にどのように影響を与えるべきか? 我々は4つの科学者グループを招待し、この質問を反映し、彼らの見解を共有し、議論をおこなった。
  論文  参考訳（メタデータ） (2023-12-05T10:45:12Z)
• Verbosity Bias in Preference Labeling by Large Language Models [10.242500241407466]
  大規模言語モデル(LLM)の評価に伴うバイアスについて検討する。 冗長性バイアス( verbosity bias) -- LLM では,たとえ同じような品質を持つとしても,より冗長な回答を好む場合があります。
  論文  参考訳（メタデータ） (2023-10-16T05:19:02Z)
• Quantifying the Impact of Large Language Models on Collective Opinion Dynamics [7.0012506428382375]
  我々は、大言語モデル(LLM)の意見をエンコードするために、意見ネットワークダイナミクスモデルを作成する。 その結果, LLMのアウトプットは, 集団的意見差に一意かつ肯定的な影響を及ぼすことが明らかとなった。 我々の実験は、反対/中立/ランダムの意見を持つ追加のエージェントを導入することで、バイアスや有害なアウトプットの影響を効果的に軽減できることを示した。
  論文  参考訳（メタデータ） (2023-08-07T05:45:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。