論文の概要: The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models
- arxiv url: http://arxiv.org/abs/2411.03700v1
- Date: Wed, 06 Nov 2024 06:50:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-07 19:23:49.239411
- Title: The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models
- Title（参考訳）: ルート形状と果実--言語モデルにおけるジェンダー排他的ハームの持続性について
- Authors: Anaelia Ovalle, Krunoslav Lehman Pavasovic, Louis Martin, Luke Zettlemoyer, Eric Michael Smith, Adina Williams, Levent Sagun,
- Abstract要約: 我々はトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを中心とし、アライメント手順が既存のジェンダー・ディバースバイアスとどのように相互作用するかを検討する。
以上の結果から,DPO対応モデルは特に教師付き微調整に敏感であることが示唆された。
DPOとより広範なアライメントプラクティスに合わせたレコメンデーションで締めくくります。
- 参考スコア（独自算出の注目度）: 58.130894823145205
- License:
- Abstract: Natural-language assistants are designed to provide users with helpful responses while avoiding harmful outputs, largely achieved through alignment to human preferences. Yet there is limited understanding of whether alignment techniques may inadvertently perpetuate or even amplify harmful biases inherited from their pre-aligned base models. This issue is compounded by the choice of bias evaluation benchmarks in popular preference-finetuned models, which predominantly focus on dominant social categories, such as binary gender, thereby limiting insights into biases affecting underrepresented groups. Towards addressing this gap, we center transgender, nonbinary, and other gender-diverse identities to investigate how alignment procedures interact with pre-existing gender-diverse bias in LLMs. Our key contributions include: 1) a comprehensive survey of bias evaluation modalities across leading preference-finetuned LLMs, highlighting critical gaps in gender-diverse representation, 2) systematic evaluation of gender-diverse biases across 12 models spanning Direct Preference Optimization (DPO) stages, uncovering harms popular bias benchmarks fail to detect, and 3) a flexible framework for measuring harmful biases in implicit reward signals applicable to other social contexts. Our findings reveal that DPO-aligned models are particularly sensitive to supervised finetuning (SFT), and can amplify two forms of real-world gender-diverse harms from their base models: stigmatization and gender non-affirmative language. We conclude with recommendations tailored to DPO and broader alignment practices, advocating for the adoption of community-informed bias evaluation frameworks to more effectively identify and address underrepresented harms in LLMs.
- Abstract（参考訳）: 自然言語アシスタントは、ユーザに有用な応答を提供すると同時に、有害なアウトプットを避けるように設計されている。
しかし、アライメント手法が不注意に永続するか、あるいは事前に整列されたベースモデルから受け継がれた有害なバイアスを増幅するかどうかについては、限定的な理解がある。
この問題は、二分性のような支配的な社会的カテゴリーに主に焦点をあて、あまり表現されていないグループに影響を及ぼすバイアスに関する洞察を制限する、人気な嗜好に富んだモデルにおけるバイアス評価ベンチマークの選択によって複雑化している。
このギャップに対処するために、私たちはトランスジェンダー、ノンバイナリ、その他のジェンダー・ディバースのアイデンティティを集中させ、アライメント手順が既存のジェンダー・ディバースのバイアスとどのように相互作用するかをLLMで調べる。
私たちの重要なコントリビューションは以下のとおりです。
1) 男女差表現における重要なギャップを浮き彫りにして, 主観的嗜好に富んだLLM間の偏差評価指標の総合的調査を行った。
2) 直接選好最適化(DPO)段階にまたがる12モデルにまたがる男女差バイアスの体系的評価。
3)他の社会的文脈に適用可能な暗黙の報酬信号における有害バイアスを測定するフレキシブルな枠組み。
以上の結果から,DPO対応モデルは特に教師付き微調整(SFT)に敏感であり,その基盤モデルから実世界のジェンダー・ディバース・ハーネスの2つの形態を増幅することができることがわかった。
我々は、DPOやより広範なアライメントの実践に合わせた勧告を締めくくり、LLMの過度の害をより効果的に識別し対処するためのコミュニティインフォームドバイアス評価フレームワークの採用を提唱する。
関連論文リスト
- GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。
GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文 参考訳（メタデータ） (2024-08-22T15:35:46Z) - Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳（メタデータ） (2024-07-23T08:13:51Z) - GenderBias-\emph{VL}: Benchmarking Gender Bias in Vision Language Models via Counterfactual Probing [72.0343083866144]
本稿では,GenderBias-emphVLベンチマークを用いて,大規模視覚言語モデルにおける職業関連性バイアスの評価を行う。
ベンチマークを用いて15のオープンソースLVLMと最先端の商用APIを広範囲に評価した。
既存のLVLMでは男女差が広くみられた。
論文 参考訳（メタデータ） (2024-06-30T05:55:15Z) - JobFair: A Framework for Benchmarking Gender Hiring Bias in Large Language Models [12.12628747941818]
本稿では,Large Language Models (LLMs) における階層的ジェンダー採用バイアスのベンチマークを行うための新しいフレームワークを提案する。
我々は、労働経済学、法原則、現在のバイアスベンチマークの批判に根ざした新しい構成を導入する。
我々は、現在最先端の10のLCMにおける性別採用バイアスを分析する。
論文 参考訳（メタデータ） (2024-06-17T09:15:57Z) - Locating and Mitigating Gender Bias in Large Language Models [40.78150878350479]
大規模言語モデル(LLM)は、人間の好みを含む事実や人間の認知を学ぶために、広範囲なコーパスで事前訓練されている。
このプロセスは、社会においてバイアスや一般的なステレオタイプを取得するこれらのモデルに必然的に導かれる可能性がある。
本稿では,職業代名詞の性別バイアスを軽減する知識編集手法LSDMを提案する。
論文 参考訳（メタデータ） (2024-03-21T13:57:43Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-11T12:02:14Z) - Social Bias Probing: Fairness Benchmarking for Language Models [38.180696489079985]
本稿では,社会的偏見を考慮した言語モデル構築のための新しい枠組みを提案する。
既存のフェアネスコレクションの制限に対処するために設計された大規模なベンチマークであるSoFaをキュレートする。
我々は、言語モデル内のバイアスが認識されるよりもニュアンスが高いことを示し、これまで認識されていたよりもより広く符号化されたバイアスの範囲を示している。
論文 参考訳（メタデータ） (2023-11-15T16:35:59Z) - Counter-GAP: Counterfactual Bias Evaluation through Gendered Ambiguous
Pronouns [53.62845317039185]
バイアス測定データセットは、言語モデルのバイアスされた振る舞いを検出する上で重要な役割を果たす。
本稿では, 多様な, 自然な, 最小限のテキストペアを, 対物生成によって収集する新しい手法を提案する。
事前学習された4つの言語モデルは、各グループ内よりも、異なる性別グループ間でかなり不整合であることを示す。
論文 参考訳（メタデータ） (2023-02-11T12:11:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。