論文の概要: Evaluating Gender Bias in Large Language Models via Chain-of-Thought Prompting

• arxiv url: http://arxiv.org/abs/2401.15585v1
• Date: Sun, 28 Jan 2024 06:50:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 17:24:55.795763
• Title: Evaluating Gender Bias in Large Language Models via Chain-of-Thought Prompting
• Title（参考訳）: 思考連鎖プロンプトによる大規模言語モデルにおける性バイアスの評価
• Authors: Masahiro Kaneko, Danushka Bollegala, Naoaki Okazaki, Timothy Baldwin
• Abstract要約: CoT(Chain-of-Thought)プロンプトを備えた大規模言語モデル(LLM)は、計算不能なタスクでも正確なインクリメンタルな予測を行うことができる。 本研究では,LLMのステップバイステップ予測が性差に及ぼす影響について検討した。
• 参考スコア（独自算出の注目度）: 87.30837365008931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There exist both scalable tasks, like reading comprehension and fact-checking, where model performance improves with model size, and unscalable tasks, like arithmetic reasoning and symbolic reasoning, where model performance does not necessarily improve with model size. Large language models (LLMs) equipped with Chain-of-Thought (CoT) prompting are able to make accurate incremental predictions even on unscalable tasks. Unfortunately, despite their exceptional reasoning abilities, LLMs tend to internalize and reproduce discriminatory societal biases. Whether CoT can provide discriminatory or egalitarian rationalizations for the implicit information in unscalable tasks remains an open question. In this study, we examine the impact of LLMs' step-by-step predictions on gender bias in unscalable tasks. For this purpose, we construct a benchmark for an unscalable task where the LLM is given a list of words comprising feminine, masculine, and gendered occupational words, and is required to count the number of feminine and masculine words. In our CoT prompts, we require the LLM to explicitly indicate whether each word in the word list is a feminine or masculine before making the final predictions. With counting and handling the meaning of words, this benchmark has characteristics of both arithmetic reasoning and symbolic reasoning. Experimental results in English show that without step-by-step prediction, most LLMs make socially biased predictions, despite the task being as simple as counting words. Interestingly, CoT prompting reduces this unconscious social bias in LLMs and encourages fair predictions.
• Abstract（参考訳）: モデルのサイズでモデルのパフォーマンスが向上し、算術推論やシンボリック推論のような非スカラブルなタスク、モデルサイズで必ずしもモデルパフォーマンスが向上しないといった、スケーラブルなタスクも存在します。 CoT(Chain-of-Thought)プロンプトを備えた大規模言語モデル(LLM)は、計算不能なタスクでも正確なインクリメンタルな予測を行うことができる。 残念なことに、LSMは例外的な推論能力にもかかわらず、差別的な社会的バイアスを内部化し、再現する傾向がある。 CoTが不可解なタスクにおける暗黙の情報に対して差別的または平等的合理化を提供できるかどうかは未解決の問題である。 本研究では,LLMのステップバイステップ予測が性差に及ぼす影響について検討した。 そこで本研究では,女性,男性,性的な職業語からなる単語のリストをLLMに付与し,女性,男性,男性の各単語の数をカウントするアンスケータブルタスクのベンチマークを構築した。 当社のCoTプロンプトでは,最終予測の前に,単語リストの各単語が女性か男性かを明確に示さなければならない。 単語の意味を数えて扱うことで、このベンチマークは算術的推論と記号的推論の両方の特徴を持つ。 英語における実験結果によると、ほとんどのLLMは、単語を数えるほど単純な作業であるにもかかわらず、社会的に偏りのある予測を行う。 興味深いことに、CoT は LLM におけるこの無意識の社会的バイアスを減らし、公正な予測を促す。

関連論文リスト

• Learning to Generate Explainable Stock Predictions using Self-Reflective Large Language Models [54.21695754082441]
  説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。 反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。 我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
  論文  参考訳（メタデータ） (2024-02-06T03:18:58Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• "I'd Like to Have an Argument, Please": Argumentative Reasoning in Large Language Models [0.0]
  議論的推論を行う2つの大規模言語モデル(LLM)の性能を評価する。 AM と APE では LLM のスコアが SOTA に匹敵するか上回っていることがわかった。 しかしながら、LLMの統計的解析は、小さいが、まだ可読である場合、I/O表現の変化は、モデルが推論を実行していないことを示している。
  論文  参考訳（メタデータ） (2023-09-29T02:41:38Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• ThinkSum: Probabilistic reasoning over sets using large language models [18.123895485602244]
  本稿では,2段階の確率的推論パラダイムであるThinkSumを提案する。 我々は,LLM評価タスクのBIGベンチスイートにおけるThinkSumの可能性とメリットを実証する。
  論文  参考訳（メタデータ） (2022-10-04T00:34:01Z)
• Underspecification in Language Modeling Tasks: A Causality-Informed Study of Gendered Pronoun Resolution [0.0]
  本稿では,素因性相関の生成における不特定性の役割を説明するための簡単な因果機構を提案する。 その単純さにもかかわらず、我々の因果モデルは2つの軽量ブラックボックス評価手法の開発を直接的に知らせる。
  論文  参考訳（メタデータ） (2022-09-30T23:10:11Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。