論文の概要: The African Woman is Rhythmic and Soulful: Evaluation of Open-ended Generation for Implicit Biases

• arxiv url: http://arxiv.org/abs/2407.01270v1
• Date: Mon, 1 Jul 2024 13:21:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 21:30:10.602513
• Title: The African Woman is Rhythmic and Soulful: Evaluation of Open-ended Generation for Implicit Biases
• Title（参考訳）: アフリカの女性はリズムに富み、酸味に富んでいる--無症候性疾患に対するオープンエンドジェネレーションの評価
• Authors: Serene Lim,
• Abstract要約: 本研究では,Large Language Models (LLMs) における微妙かつしばしば隠蔽されるバイアスについて検討する。 LLMがますますプロプライエタリになるにつれて、そのようなバイアスを測定するという課題はさらに悪化する。 本研究では,心理学的方法論に触発されたバイアスの革新的な尺度を紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study investigates the subtle and often concealed biases present in Large Language Models (LLMs), which, despite passing explicit bias tests, can still exhibit implicit biases akin to those observed in humans who profess egalitarian beliefs yet demonstrate underlying prejudices. The challenge of measuring such biases is exacerbated as LLMs become increasingly proprietary, restricting access to their internal mechanisms such as embeddings, which are crucial for applying traditional bias measures. To tackle these issues, this study introduces innovative measures of bias inspired by psychological methodologies: the LLM Implicit Association Test (IAT) Bias and the LLM Decision Bias. The LLM IAT Bias is a prompt-based method designed to unearth implicit biases by simulating the well-known psychological IAT but adapted for use with LLMs. The LLM Decision Bias measure is developed to detect subtle discrimination in decision-making tasks, focusing on how LLMs choose between individuals in various scenarios. Open-ended generation is also utilised through thematic analysis of word generations and storytelling. The experiments revealed biases across gender and racial domains, from discriminatory categorisations to exoticisation. Our findings indicate that the prompt-based measure of implicit bias not only correlates with traditional embedding-based methods but also more effectively predicts downstream behaviors, which are crucially measured by the LLM Decision Bias. This relationship underscores the importance of relative, rather than absolute, evaluations in assessing implicit biases, reflecting psychological insights into human bias assessment. This research contributes to the broader understanding of AI ethics and provides suggestions for continually assessing and mitigating biases in advanced AI systems, emphasising the need for more qualitative and downstream focus.
• Abstract（参考訳）: 本研究では,多言語モデル (LLMs) に見られる微妙でしばしば隠蔽される偏見について検討し, 明示的な偏見試験をパスしても, 根底にある偏見を証明していない, 平等主義的信念を公言する人間に類似した暗黙の偏見を示すことができることを示した。 このようなバイアスを測定するという課題は、LSMがよりプロプライエタリになり、従来のバイアス対策を適用する上で不可欠な埋め込みなどの内部メカニズムへのアクセスを制限することで、さらに悪化する。 これらの課題に対処するために, LLM Implicit Association Test (IAT) Bias と LLM Decision Bias という, 心理的方法論に触発されたバイアスの革新的な尺度を導入する。 LLM IAT Biasは、よく知られた心理学的IATをシミュレートすることで暗黙の偏見を発見するために設計されたプロンプトベースの手法である。 LLM決定バイアス尺度(LLM Decision Bias measure)は、意思決定タスクにおける微妙な差別を検出するために開発され、様々なシナリオにおいてLLMが個人をどのように選ぶかに焦点を当てている。 オープンエンド世代は、ワードジェネレーションとストーリーテリングのテーマ分析によっても活用される。 この実験は、差別的分類からエキゾチック化まで、性別と人種領域の偏見を明らかにした。 以上の結果から,暗黙バイアスの迅速測定は,従来の埋込法と相関するだけでなく,LLM決定バイアスによって決定的に測定される下流行動の予測にも有効であることが示唆された。 この関係は、人間の偏見評価に対する心理的洞察を反映し、暗黙の偏見を評価することにおける絶対的な評価よりも、相対的な評価の重要性を強調している。 この研究は、AI倫理のより広範な理解に貢献し、先進的なAIシステムにおけるバイアスを継続的に評価し緩和するための提案を提供する。

関連論文リスト

• Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection [5.800102484016876]
  大規模言語モデル(LLM)は、生成されたコンテンツに様々なバイアスとステレオタイプを示すことが示されている。 本稿では, LLMにおける明示的, 暗黙的な偏見を解明するために, 社会心理学理論に基づく体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-04T14:08:52Z)
• Bias in Large Language Models: Origin, Evaluation, and Mitigation [4.606140332500086]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、バイアスへの感受性は大きな課題となっている。 本総説では, LLMの発端から現在の緩和戦略まで, バイアスの背景を概観する。 偏りのあるLLMの倫理的および法的含意について論じ、医療や刑事司法のような現実の応用における潜在的な害を強調した。
  論文  参考訳（メタデータ） (2024-11-16T23:54:53Z)
• Justice or Prejudice? Quantifying Biases in LLM-as-a-Judge [84.34545223897578]
  多くの領域で優れているにもかかわらず、潜在的な問題は未解決のままであり、その信頼性と実用性の範囲を損なう。 提案手法は, LLM-as-a-Judgeにおける各種類のバイアスを定量化し, 解析する自動バイアス定量化フレームワークである。 当社の作業は、これらの問題に対処するステークホルダの必要性を強調し、LLM-as-a-Judgeアプリケーションで注意を喚起します。
  論文  参考訳（メタデータ） (2024-10-03T17:53:30Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Evaluating Implicit Bias in Large Language Models by Attacking From a Psychometric Perspective [66.34066553400108]
  我々は、ある人口層に対する大きな言語モデルの暗黙の偏見を厳格に評価する。 心理測定の原則にインスパイアされた我々は,3つの攻撃的アプローチ,すなわち,軽視,軽視,指導を提案する。 提案手法は,LLMの内部バイアスを競合ベースラインよりも効果的に引き出すことができる。
  論文  参考訳（メタデータ） (2024-06-20T06:42:08Z)
• Towards detecting unanticipated bias in Large Language Models [1.4589372436314496]
  LLM(Large Language Models)は、従来の機械学習システムと同様の公平性問題を示す。 本研究は、トレーニングデータにおけるバイアスの分析と定量化と、それらのモデルの決定に対する影響に焦点を当てる。
  論文  参考訳（メタデータ） (2024-04-03T11:25:20Z)
• Investigating Bias in LLM-Based Bias Detection: Disparities between LLMs and Human Perception [13.592532358127293]
  大規模言語モデル(LLM)におけるバイアスの存在と性質について検討する。 LLMが特に政治的バイアス予測やテキスト継続タスクにおいてバイアスを示すかどうかを調査する。 我々は,素早い工学とモデル微調整を含む脱バイアス戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-22T00:59:48Z)
• Measuring Implicit Bias in Explicitly Unbiased Large Language Models [14.279977138893846]
  大規模言語モデル(LLM)は明示的な社会的バイアステストに合格するが、それでも暗黙のバイアスを課す。 我々は、暗黙のバイアスを明らかにするプロンプトベースの方法であるLSM Implicit Biasと、意思決定タスクにおける微妙な差別を検出する戦略であるLSM Decision Biasの2つの新しいバイアス対策を導入する。 これらの指標を用いて,4つの社会カテゴリーにまたがる8つの価値整合モデルにおいて,社会における傾向を反映する広汎なステレオタイプバイアスが発見された。
  論文  参考訳（メタデータ） (2024-02-06T15:59:23Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。