論文の概要: CBEval: A framework for evaluating and interpreting cognitive biases in LLMs

• arxiv url: http://arxiv.org/abs/2412.03605v1
• Date: Wed, 04 Dec 2024 05:53:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:11.023142
• Title: CBEval: A framework for evaluating and interpreting cognitive biases in LLMs
• Title（参考訳）: CBEval: LLMにおける認知バイアスの評価と解釈のためのフレームワーク
• Authors: Ammar Shaikh, Raj Abhijit Dandekar, Sreedath Panat, Rajat Dandekar,
• Abstract要約: 大きな言語モデルは、認知過程において顕著なギャップを示す。 人間の生成したデータのリフレクションとして、これらのモデルは認知バイアスを継承する可能性がある。
• 参考スコア（独自算出の注目度）: 1.4633779950109127
• License:
• Abstract: Rapid advancements in Large Language models (LLMs) has significantly enhanced their reasoning capabilities. Despite improved performance on benchmarks, LLMs exhibit notable gaps in their cognitive processes. Additionally, as reflections of human-generated data, these models have the potential to inherit cognitive biases, raising concerns about their reasoning and decision making capabilities. In this paper we present a framework to interpret, understand and provide insights into a host of cognitive biases in LLMs. Conducting our research on frontier language models we're able to elucidate reasoning limitations and biases, and provide reasoning behind these biases by constructing influence graphs that identify phrases and words most responsible for biases manifested in LLMs. We further investigate biases such as round number bias and cognitive bias barrier revealed when noting framing effect in language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、推論能力を大幅に強化した。 ベンチマークのパフォーマンスは向上したが、LLMは認知過程に顕著なギャップをみせている。 さらに、人間が生成したデータのリフレクションとして、これらのモデルは認知バイアスを継承し、その推論と意思決定能力に対する懸念を提起する可能性がある。 本稿では,LLMにおける認知バイアスを解釈し,理解し,洞察する枠組みを提案する。 最前線言語モデルの研究を行うことで、推論の限界とバイアスを解明することができ、LLMに現れるバイアスに最も責任のあるフレーズや単語を識別する影響グラフを構築することで、これらのバイアスの背後にある推論を提供することができます。 さらに,言語モデルにおけるフレーミング効果を通知する場合の,ラウンドナンバーバイアスや認知バイアス障壁などのバイアスについても検討する。

関連論文リスト

• Bias in Large Language Models: Origin, Evaluation, and Mitigation [4.606140332500086]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、バイアスへの感受性は大きな課題となっている。 本総説では, LLMの発端から現在の緩和戦略まで, バイアスの背景を概観する。 偏りのあるLLMの倫理的および法的含意について論じ、医療や刑事司法のような現実の応用における潜在的な害を強調した。
  論文  参考訳（メタデータ） (2024-11-16T23:54:53Z)
• Cognitive Biases in Large Language Models for News Recommendation [68.90354828533535]
  本稿では,認知バイアスが大規模言語モデル(LLM)に基づくニュースレコメンデータシステムに与える影響について検討する。 データ拡張、エンジニアリングと学習アルゴリズムの側面を通じて、これらのバイアスを軽減する戦略について議論する。
  論文  参考訳（メタデータ） (2024-10-03T18:42:07Z)
• AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment [37.985947029716016]
  大規模言語モデル(LLM)は高度な理解能力を示しているが、トレーニングデータから人間のバイアスを継承する可能性がある。 関連判定におけるしきい値プライミング効果の影響について検討した。
  論文  参考訳（メタデータ） (2024-09-24T12:23:15Z)
• Metacognitive Myopia in Large Language Models [0.0]
  大規模言語モデル(LLM)は、文化的に固有のステレオタイプ、クラウドの道徳的判断、あるいは多数派の肯定的な評価を強化する潜在的に有害なバイアスを示す。 認知・生態的枠組みとしてメタ認知ミオピアを提案する。 我々の理論的枠組みは, メタ認知, 監視, 制御の2つの要素が欠如していることが, メタ認知性ミオピアの5つの症状を引き起こすことを示唆している。
  論文  参考訳（メタデータ） (2024-08-10T14:43:57Z)
• A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners [58.15511660018742]
  本研究では,大規模言語モデル (LLM) が真の推論能力を持つかどうかを評価するための仮説検証フレームワークを提案する。 我々は,相補的な誤りとシロジカルな問題を特徴とする,注意深く制御された合成データセットを開発した。
  論文  参考訳（メタデータ） (2024-06-16T19:22:53Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は、システムの異なる部分への介入の下で因果効果を推定することができる。 LLMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを実証分析して評価する。 我々は、様々な因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成し、介入に基づく推論の研究を可能にする。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Will the Real Linda Please Stand up...to Large Language Models? Examining the Representativeness Heuristic in LLMs [7.100094213474042]
  大規模言語モデル(LLM)は、テキストをモデル化し、人間に似たテキストを生成するのに顕著な能力を示した。 LLMは、代表性と呼ばれる人間の意思決定において共通の認知的罠に感受性がある。 本研究は, LLM推論における代表性の影響について検討する。
  論文  参考訳（メタデータ） (2024-04-01T20:15:06Z)
• Cognitive Bias in Decision-Making with LLMs [19.87475562475802]
  大規模言語モデル(LLM)は、幅広い意思決定タスクをサポートするツールとして大きな可能性を秘めている。 LLMは保護されたグループに対する社会的バイアスを継承し、認知バイアスと機能的に類似している。 私たちの研究は、LLMの認知バイアスを発見し、評価し、緩和するために設計されたフレームワークであるBiasBusterを紹介します。
  論文  参考訳（メタデータ） (2024-02-25T02:35:56Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• From Heuristic to Analytic: Cognitively Motivated Strategies for Coherent Physical Commonsense Reasoning [66.98861219674039]
  ヒューリスティック分析推論(HAR)戦略は、モデル決定のための合理化のコヒーレンスを大幅に改善する。 以上の結果から, PLM推論の一貫性と信頼性を効果的に向上できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-24T19:46:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。