論文の概要: People will agree what I think: Investigating LLM's False Consensus Effect
- arxiv url: http://arxiv.org/abs/2407.12007v1
- Date: Sun, 16 Jun 2024 03:29:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 11:30:12.140520
- Title: People will agree what I think: Investigating LLM's False Consensus Effect
- Title(参考訳): LLMのFalse Consensus効果の調査
- Authors: Junhyuk Choi, Yeseon Hong, Bugeun Kim,
- Abstract要約: 大規模言語モデル(LLM)は通信を必要とする対話型システムに広く採用されている。
モデルに対する誤った信念は、そのようなシステムのユーザビリティを損なう可能性があるため、LLMは人間が持っている認知バイアスを持ってはならない。
本稿では,偽の信念を反映してコミュニケーションを円滑に行うFalse Consensus Effect (FCE)に焦点を当てた。
- 参考スコア(独自算出の注目度): 2.3983762254195593
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Large Language Models (LLMs) have recently been widely adopted on interactive systems requiring communications. As the false belief in a model can harm the usability of such systems, LLMs should not have cognitive biases that humans have. Especially psychologists focused on the False Consensus Effect (FCE), which can distract smooth communication by posing false beliefs. However, previous studies have less examined FCE in LLMs thoroughly, which needs more consideration of confounding biases, general situations, and prompt changes. Therefore, in this paper, we conduct two studies to deeply examine the FCE phenomenon in LLMs. In Study 1, we investigate whether LLMs have FCE. In Study 2, we explore how various prompting styles affect the demonstration of FCE. As a result of these studies, we identified that popular LLMs have FCE. Also, the result specifies the conditions when the strength of FCE becomes larger or smaller compared to normal usage.
- Abstract(参考訳): 大規模言語モデル(LLM)は通信を必要とする対話型システムに広く採用されている。
モデルに対する誤った信念は、そのようなシステムのユーザビリティを損なう可能性があるため、LLMは人間が持っている認知バイアスを持ってはならない。
特に心理学者は、虚偽の信念を装い、円滑なコミュニケーションを阻害するFalse Consensus Effect(FCE)に焦点を当てた。
しかし、従来の研究では、LLMにおけるFCEの徹底的な検討が少なかったため、偏見、一般的な状況、変化の速さをより考慮する必要がある。
そこで本研究では,LLMにおけるFCE現象を深く研究する2つの研究を行った。
研究1では, LLM が FCE を持つかどうかを検討した。
研究2では、様々なプロンプトスタイルがFCEの実証にどのように影響するかを探る。
これらの結果,LLMにFCEがあることが判明した。
また、FCEの強度が通常の使用量よりも大きくなった場合の条件も規定する。
関連論文リスト
- Behavioral Testing: Can Large Language Models Implicitly Resolve Ambiguous Entities? [27.10502683001428]
本研究では,現状の言語モデル (LLM) の能力と一貫性について分析する。
実験の結果、LSMは曖昧なプロンプトで性能が悪く、80%の精度しか達成できないことがわかった。
論文 参考訳(メタデータ) (2024-07-24T09:48:48Z) - Are Large Language Models Strategic Decision Makers? A Study of Performance and Bias in Two-Player Non-Zero-Sum Games [56.70628673595041]
大規模言語モデル(LLM)は、現実世界での利用が増えているが、その戦略能力はほとんど解明されていない。
戦略ゲーム,Stag Hunt と Prisoner Dilemma における LLM の動作について検討し,異なる設定とプロンプト下での性能変動を分析した。
以上の結果から,(1)位置バイアス,(2)支払いバイアス,(3)行動バイアスの少なくとも1つが評価された。
論文 参考訳(メタデータ) (2024-07-05T12:30:02Z) - A Comprehensive Evaluation on Event Reasoning of Large Language Models [50.117736215593894]
LLMが、様々な関係や推論パラダイムに基づいたイベント推論をいかにうまく達成するかは、いまだに不明である。
本稿ではEVent推論のEValuationのための新しいベンチマークEV2を紹介する。
LLMにはイベント推論を実現する能力があるが、その性能は十分ではない。
論文 参考訳(メタデータ) (2024-04-26T16:28:34Z) - Reinforcement Learning from Multi-role Debates as Feedback for Bias Mitigation in LLMs [6.090496490133132]
LLMをロールプレイングシナリオに組み込むことで、バイアスを認識し緩和する能力が向上することがわかった。
本稿では,フィードバックを代替する新たなバイアス緩和手法であるReinforcement Learning from Multi-role Debates as Feedback (RLDF)を提案する。
論文 参考訳(メタデータ) (2024-04-15T22:18:50Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳(メタデータ) (2024-03-25T19:07:32Z) - When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。
Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。
本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
論文 参考訳(メタデータ) (2024-02-18T04:57:19Z) - Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。
価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
論文 参考訳(メタデータ) (2024-02-16T18:28:43Z) - How should the advent of large language models affect the practice of
science? [51.62881233954798]
大規模言語モデルの出現は科学の実践にどのように影響を与えるべきか?
我々は4つの科学者グループを招待し、この質問を反映し、彼らの見解を共有し、議論をおこなった。
論文 参考訳(メタデータ) (2023-12-05T10:45:12Z) - Verbosity Bias in Preference Labeling by Large Language Models [10.242500241407466]
大規模言語モデル(LLM)の評価に伴うバイアスについて検討する。
冗長性バイアス( verbosity bias) -- LLM では,たとえ同じような品質を持つとしても,より冗長な回答を好む場合があります。
論文 参考訳(メタデータ) (2023-10-16T05:19:02Z) - Quantifying the Impact of Large Language Models on Collective Opinion
Dynamics [7.0012506428382375]
我々は、大言語モデル(LLM)の意見をエンコードするために、意見ネットワークダイナミクスモデルを作成する。
その結果, LLMのアウトプットは, 集団的意見差に一意かつ肯定的な影響を及ぼすことが明らかとなった。
我々の実験は、反対/中立/ランダムの意見を持つ追加のエージェントを導入することで、バイアスや有害なアウトプットの影響を効果的に軽減できることを示した。
論文 参考訳(メタデータ) (2023-08-07T05:45:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。