Fugu-MT 論文翻訳(概要): A Comprehensive Evaluation of Cognitive Biases in LLMs

論文の概要: A Comprehensive Evaluation of Cognitive Biases in LLMs

arxiv url: http://arxiv.org/abs/2410.15413v1
Date: Sun, 20 Oct 2024 15:07:51 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-22 13:21:24.303352
Title: A Comprehensive Evaluation of Cognitive Biases in LLMs
Title（参考訳）: LLMにおける認知バイアスの包括的評価
Authors: Simon Malberg, Roman Poletukhin, Carolin M. Schuster, Georg Groh,
Abstract要約: 20の最先端大言語モデル(LLM)における認知バイアスの大規模評価について述べる。我々のコントリビューションには、LSMの信頼性と大規模なテスト生成のための新しい汎用テストフレームワークが含まれている。
参考スコア（独自算出の注目度）: 1.6499388997661122
License:
Abstract: We present a large-scale evaluation of 30 cognitive biases in 20 state-of-the-art large language models (LLMs) under various decision-making scenarios. Our contributions include a novel general-purpose test framework for reliable and large-scale generation of tests for LLMs, a benchmark dataset with 30,000 tests for detecting cognitive biases in LLMs, and a comprehensive assessment of the biases found in the 20 evaluated LLMs. Our work confirms and broadens previous findings suggesting the presence of cognitive biases in LLMs by reporting evidence of all 30 tested biases in at least some of the 20 LLMs. We publish our framework code to encourage future research on biases in LLMs: https://github.com/simonmalberg/cognitive-biases-in-llms
Abstract（参考訳）: さまざまな意思決定シナリオ下で,20の言語モデル(LLM)における認知バイアスの大規模評価を行う。コントリビューションには、LLMの信頼性および大規模テスト生成のための新しい汎用テストフレームワーク、LLMの認知バイアスを検出するベンチマークデータセット、評価されたLLM20のバイアスの包括的な評価が含まれている。我々の研究は、少なくとも20個のLSMの少なくとも一部において、30個の試験されたバイアスの全てを報告することによって、LSMに認知バイアスが存在することを示唆する以前の発見を確認し、拡大する。 LLMのバイアスに関する将来の研究を促進するために、フレームワークコードを公開しています。

関連論文リスト

Benchmarking Bias in Large Language Models during Role-Playing [21.28427555283642]
ロールプレイングにおいて,Large Language Models (LLMs) のバイアスを明らかにするために設計されたフェアネステストフレームワークであるBiasLensを紹介した。提案手法では,11の属性からなる包括的属性からなる550個のソーシャルロールをLCMを用いて生成し,33,000個のロール固有の質問を生成する。生成された質問をベンチマークとして、OpenAI、Mistral AI、Meta、Alibaba、DeepSeekがリリースした6つの高度なLCMの広範な評価を行う。我々のベンチマークでは、LLM全体で72,716の偏りが見られ、個々のモデルは7,754から16,963の偏りが生じる。
論文参考訳（メタデータ） (2024-11-01T13:47:00Z)
Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
論文参考訳（メタデータ） (2024-10-03T17:53:30Z)
A Comprehensive Survey of Bias in LLMs: Current Landscape and Future Directions [0.0]
大規模言語モデル(LLM)は、前例のないテキスト生成、翻訳、理解能力を提供することで、自然言語処理(NLP)の様々な応用に革命をもたらした。彼らの広範な展開は、これらのモデルに埋め込まれたバイアスに関して、重大な懸念をもたらしました。本稿では, LLMにおけるバイアスの包括的調査を行い, これらのバイアスに関するタイプ, ソース, 影響, 緩和戦略について, 広範なレビューを行うことを目的としている。
論文参考訳（メタデータ） (2024-09-24T19:50:38Z)
LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
人間の判断の代わりにLCMによる判断でNLPモデルを評価する傾向が高まっている。人間のデータとの比較がないと、これらの評価の有効性が懸念される。 JUDGE-BENCHは、人間のアノテーションを持つ20個のNLPデータセットの集合である。
論文参考訳（メタデータ） (2024-06-26T14:56:13Z)
Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
論文参考訳（メタデータ） (2024-05-24T08:12:30Z)
Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文参考訳（メタデータ） (2024-02-09T05:37:09Z)
PRE: A Peer Review Based Large Language Model Evaluator [14.585292530642603]
既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-28T12:33:14Z)
State of What Art? A Call for Multi-Prompt LLM Evaluation [28.307860675006545]
我々は650万インスタンスにわたる単発評価により得られた結果の脆さを包括的に分析した。解析のロバスト性を改善するために,多様なプロンプトのセットを用いてLSMを評価することを提案する。
論文参考訳（メタデータ） (2023-12-31T22:21:36Z)
Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文参考訳（メタデータ） (2023-10-15T12:40:30Z)
A Survey on Evaluation of Large Language Models [87.60417393701331]
大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
論文参考訳（メタデータ） (2023-07-06T16:28:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。