Fugu-MT 論文翻訳(概要): Prejudice and Volatility: A Statistical Framework for Measuring Social Discrimination in Large Language Models

論文の概要: Prejudice and Volatility: A Statistical Framework for Measuring Social Discrimination in Large Language Models

arxiv url: http://arxiv.org/abs/2402.15481v4
Date: Fri, 24 May 2024 20:02:10 GMT
ステータス: 処理完了
システム内更新日: 2024-05-29 07:05:34.238328
Title: Prejudice and Volatility: A Statistical Framework for Measuring Social Discrimination in Large Language Models
Title（参考訳）: 偏見とボラティリティ:大規模言語モデルにおける社会的差別の測定のための統計的枠組み
Authors: Y Liu, K Yang, Z Qi, X Liu, Y Yu, C Zhai,
Abstract要約: 本研究では,Large Language Models (LLMs) の生成における不整合が社会的不正を誘発し,さらに悪化させる可能性について検討した。 LLMを評価するための行動指標を正確に定義するPrejudice-Volatility Framework(PVF)を定式化する。我々は,LLMの集合的差別リスクを,システムバイアスやボラティリティリスクから生じる偏見リスクに数学的に分解する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study investigates why and how inconsistency in the generation of Large Language Models (LLMs) might induce or exacerbate societal injustice. For instance, LLMs frequently exhibit contrasting gender stereotypes regarding the same career depending on varied contexts, highlighting the arguably harmful unpredictability of LLMs' behavioral patterns. To augment the existing discrimination assessment with the capability to account for variation in LLM generation, we formulate the Prejudice-Volatility Framework (PVF) that precisely defines behavioral metrics for assessing LLMs, which delineate the probability distribution of LLMs' stereotypes from the perspective of token prediction probability. Specifically, we employ a data-mining approach to approximate the possible applied contexts of LLMs and devise statistical metrics to evaluate the corresponding contextualized societal discrimination risk. Further, we mathematically dissect the aggregated discrimination risk of LLMs into prejudice risk, originating from their system bias, and volatility risk, stemming from their generation inconsistency. While initially intended for assessing discrimination in LLMs, our proposed PVF facilitates the comprehensive and flexible measurement of any inductive biases, including knowledge alongside prejudice, across various modality models. We apply PVF to 12 most commonly adopted LLMs and compare their risk levels. Our findings reveal that: i) prejudice risk is the primary cause of discrimination risk in LLMs, indicating that inherent biases in these models lead to stereotypical outputs; ii) most LLMs exhibit significant pro-male stereotypes across nearly all careers; iii) alignment with Reinforcement Learning from Human Feedback lowers discrimination by reducing prejudice, but increases volatility; iv) discrimination risk in LLMs correlates with socio-economic factors like profession salaries.
Abstract（参考訳）: 本研究では,Large Language Models (LLMs) の生成における不整合が社会的不正を誘発し,さらに悪化させる可能性について検討した。例えば、LLMは、様々な状況に応じて、同じキャリアに関する対照的なジェンダーステレオタイプをしばしば示し、LLMの行動パターンの有害な予測可能性を強調している。 LLM生成の変動を考慮した既存の識別評価を強化するために、トークン予測確率の観点からLLMのステレオタイプの確率分布を記述したLCMの評価のための行動指標を正確に定義するPrejudice-Volatility Framework (PVF) を定式化する。具体的には、LLMの可能な適用コンテキストを近似するためにデータマイニング手法を採用し、対応する文脈化された社会的差別リスクを評価するために統計メトリクスを考案する。さらに, LLMの集団識別リスクを, システムバイアスから生じる偏見リスクと, 世代不整合から生じるボラティリティリスクに数学的に分解する。当初 LLM における差別評価を目的としていたが,提案したPVF は,偏見を伴う知識を含むあらゆる帰納バイアスの包括的かつ柔軟な測定を容易にする。 PVFを最も広く採用されている12のLSMに適用し、それらのリスクレベルを比較した。私たちの発見は、こう示しています。一偏見リスクは、LCMにおける差別リスクの主な原因であり、これらのモデルに固有のバイアスが、ステレオタイプ的な出力につながることを示唆する。二ほとんどのLPMは、ほぼすべてのキャリアにおいて有意な前雄性ステレオタイプを呈する。三人間のフィードバックからの強化学習との整合は、偏見を減らして差別を低下させるが、ボラティリティを増大させる。 iv) LLMの差別リスクは、職業給与のような社会経済的要因と相関する。

関連論文リスト

An Actionable Framework for Assessing Bias and Fairness in Large Language Model Use Cases [0.0]
本稿では,大規模言語モデルにおけるバイアスと公平性リスクを評価するための実践者のための技術ガイドを提供する。この作業の主な貢献は、特定のLLMユースケースで使用するメトリクスを決定するための決定フレームワークである。
論文参考訳（メタデータ） (2024-07-15T16:04:44Z)
Decision-Making Behavior Evaluation Framework for LLMs under Uncertain Context [5.361970694197912]
本稿では,大規模言語モデル(LLM)の意思決定行動を評価するための行動経済学に基づく枠組みを提案する。本稿では,ChatGPT-4.0-Turbo,Claude-3-Opus,Gemini-1.0-proの3つの商用LCMにおけるリスク嗜好,確率重み付け,損失回避の程度を推定する。以上の結果から,LSMはリスク回避や損失回避といった人間に類似したパターンを呈し,その傾向は小さすぎることが示唆された。
論文参考訳（メタデータ） (2024-06-10T02:14:19Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Chain-of-Thought Prompting for Demographic Inference with Large Multimodal Models [58.58594658683919]
大規模マルチモーダルモデル (LMM) は、様々な研究課題において変換可能性を示している。以上の結果から,LMMはゼロショット学習,解釈可能性,未修正入力の処理に長所があることが示唆された。本稿では,目標外予測問題を効果的に緩和するChain-of-Thought拡張プロンプト手法を提案する。
論文参考訳（メタデータ） (2024-05-24T16:26:56Z)
Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文参考訳（メタデータ） (2024-04-19T09:44:51Z)
Unveiling the Misuse Potential of Base Large Language Models via In-Context Learning [61.2224355547598]
大規模言語モデル(LLM)のオープンソース化は、アプリケーション開発、イノベーション、科学的進歩を加速させる。我々の調査は、この信念に対する重大な監視を露呈している。我々の研究は、慎重に設計されたデモを配置することにより、ベースLSMが悪意のある命令を効果的に解釈し実行できることを実証する。
論文参考訳（メタデータ） (2024-04-16T13:22:54Z)
Benchmarking LLMs via Uncertainty Quantification [91.72588235407379]
オープンソースのLarge Language Models(LLM)の普及は、包括的な評価方法の緊急の必要性を強調している。我々は不確実性定量化を統合した LLM のための新しいベンチマーク手法を提案する。以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
論文参考訳（メタデータ） (2024-01-23T14:29:17Z)
Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications [23.963586791210414]
大規模言語モデル (LLM) は, 学習データから社会的偏見を継承する傾向にあり, 分類作業における公平性に大きな影響を及ぼすことを示した。この観察は、社会的バイアスがLSM自体に固有のものであり、事前学習されたコーパスから継承されていることを強調している。
論文参考訳（メタデータ） (2023-10-23T06:31:28Z)
Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文参考訳（メタデータ） (2023-09-02T00:32:55Z)
The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations [5.898806397015801]
大規模言語モデル(LLM)における人口統計バイアスの分析と比較のための簡易な手法を提案する。本稿では,ChatGPTとLLaMAの交差バイアスを計測し,本手法の有効性を示す。両モデルとも、メキシコ労働者の低賃金雇用を一貫して示唆するなど、さまざまな人口統計学的アイデンティティに対する偏見を識別する。
論文参考訳（メタデータ） (2023-08-03T21:12:54Z)
Look Before You Leap: An Exploratory Study of Uncertainty Measurement for Large Language Models [16.524794442035265]
本研究では,不確実性のレンズを用いたLarge Language Models(LLM)のリスク評価について検討する。本研究は,LLMの不確かさ・非実効性予測に対する不確実性推定の有効性を検証した。我々の研究から得た洞察は、信頼性の高いLCMの設計と開発に光を当てた。
論文参考訳（メタデータ） (2023-07-16T08:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。