論文の概要: Evaluating Gender Bias in Large Language Models via Chain-of-Thought
Prompting
- arxiv url: http://arxiv.org/abs/2401.15585v1
- Date: Sun, 28 Jan 2024 06:50:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 17:24:55.795763
- Title: Evaluating Gender Bias in Large Language Models via Chain-of-Thought
Prompting
- Title(参考訳): 思考連鎖プロンプトによる大規模言語モデルにおける性バイアスの評価
- Authors: Masahiro Kaneko, Danushka Bollegala, Naoaki Okazaki, Timothy Baldwin
- Abstract要約: CoT(Chain-of-Thought)プロンプトを備えた大規模言語モデル(LLM)は、計算不能なタスクでも正確なインクリメンタルな予測を行うことができる。
本研究では,LLMのステップバイステップ予測が性差に及ぼす影響について検討した。
- 参考スコア(独自算出の注目度): 87.30837365008931
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There exist both scalable tasks, like reading comprehension and
fact-checking, where model performance improves with model size, and unscalable
tasks, like arithmetic reasoning and symbolic reasoning, where model
performance does not necessarily improve with model size. Large language models
(LLMs) equipped with Chain-of-Thought (CoT) prompting are able to make accurate
incremental predictions even on unscalable tasks. Unfortunately, despite their
exceptional reasoning abilities, LLMs tend to internalize and reproduce
discriminatory societal biases. Whether CoT can provide discriminatory or
egalitarian rationalizations for the implicit information in unscalable tasks
remains an open question.
In this study, we examine the impact of LLMs' step-by-step predictions on
gender bias in unscalable tasks. For this purpose, we construct a benchmark for
an unscalable task where the LLM is given a list of words comprising feminine,
masculine, and gendered occupational words, and is required to count the number
of feminine and masculine words. In our CoT prompts, we require the LLM to
explicitly indicate whether each word in the word list is a feminine or
masculine before making the final predictions. With counting and handling the
meaning of words, this benchmark has characteristics of both arithmetic
reasoning and symbolic reasoning. Experimental results in English show that
without step-by-step prediction, most LLMs make socially biased predictions,
despite the task being as simple as counting words. Interestingly, CoT
prompting reduces this unconscious social bias in LLMs and encourages fair
predictions.
- Abstract(参考訳): モデルのサイズでモデルのパフォーマンスが向上し、算術推論やシンボリック推論のような非スカラブルなタスク、モデルサイズで必ずしもモデルパフォーマンスが向上しないといった、スケーラブルなタスクも存在します。
CoT(Chain-of-Thought)プロンプトを備えた大規模言語モデル(LLM)は、計算不能なタスクでも正確なインクリメンタルな予測を行うことができる。
残念なことに、LSMは例外的な推論能力にもかかわらず、差別的な社会的バイアスを内部化し、再現する傾向がある。
CoTが不可解なタスクにおける暗黙の情報に対して差別的または平等的合理化を提供できるかどうかは未解決の問題である。
本研究では,LLMのステップバイステップ予測が性差に及ぼす影響について検討した。
そこで本研究では,女性,男性,性的な職業語からなる単語のリストをLLMに付与し,女性,男性,男性の各単語の数をカウントするアンスケータブルタスクのベンチマークを構築した。
当社のCoTプロンプトでは,最終予測の前に,単語リストの各単語が女性か男性かを明確に示さなければならない。
単語の意味を数えて扱うことで、このベンチマークは算術的推論と記号的推論の両方の特徴を持つ。
英語における実験結果によると、ほとんどのLLMは、単語を数えるほど単純な作業であるにもかかわらず、社会的に偏りのある予測を行う。
興味深いことに、CoT は LLM におけるこの無意識の社会的バイアスを減らし、公正な予測を促す。
関連論文リスト
- Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - Are you talking to ['xem'] or ['x', 'em']? On Tokenization and
Addressing Misgendering in LLMs with Pronoun Tokenization Parity [79.41081292703352]
代名詞のトークン化パリティ (PTP) は, トークンの機能的構造を保ち, 新生代名詞の誤認を減らすための新しいアプローチである。
代名詞の整合性に基づく尺度と新しい構文に基づく尺度を用いて,PTPの有効性を評価する。
論文 参考訳(メタデータ) (2023-12-19T01:28:46Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [113.72984199026094]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
生成モデルのカウンターファクトの能力を効果的に評価するために,革新的な評価指標であるLogicAware Counterfactual Scoreを提案する。
分析の結果,提案手法は人間の好みとよく一致していることがわかった。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - Probing Explicit and Implicit Gender Bias through LLM Conditional Text
Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。
本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文 参考訳(メタデータ) (2023-11-01T05:31:46Z) - Shifting Attention to Relevance: Towards the Uncertainty Estimation of
Large Language Models [28.67546891608135]
大規模言語モデル (LLMs) は, 自然言語生成や命令の追従において, 顕著な可能性を示している。
不確実性定量化(UQ)は有望なソリューションであり、LLMのコンテキスト内での正確な実装は依然として大きなハードルである。
我々は,より関連性の高いコンポーネントへの注意をトークンレベルと文レベルの両方で協調的にシフトし,正確な不確かさを推定する。
論文 参考訳(メタデータ) (2023-07-03T22:17:16Z) - ThinkSum: Probabilistic reasoning over sets using large language models [18.123895485602244]
本稿では,2段階の確率的推論パラダイムであるThinkSumを提案する。
我々は,LLM評価タスクのBIGベンチスイートにおけるThinkSumの可能性とメリットを実証する。
論文 参考訳(メタデータ) (2022-10-04T00:34:01Z) - Underspecification in Language Modeling Tasks: A Causality-Informed
Study of Gendered Pronoun Resolution [0.0]
本稿では,素因性相関の生成における不特定性の役割を説明するための簡単な因果機構を提案する。
その単純さにもかかわらず、我々の因果モデルは2つの軽量ブラックボックス評価手法の開発を直接的に知らせる。
論文 参考訳(メタデータ) (2022-09-30T23:10:11Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。