論文の概要: Analyzing Occupational Gender Bias across the LLM Training Lifecycle

• arxiv url: http://arxiv.org/abs/2610.23587v1
• Date: Fri, 16 Oct 2026 15:07:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.981955
• Title: Analyzing Occupational Gender Bias across the LLM Training Lifecycle
• Title（参考訳）: LLMトレーニングライフサイクルにおける作業性バイアスの分析
• Abstract要約: 完全にオープンな言語モデルであるOLMo 3の職業性バイアスについて, 訓練後の段階にわたって検討した。 性別が記載されると、ポストトレーニングは男性コードプロファイルのセマンティックな多様性を増大させる。 モデルによって性別が推定される場合、ポストトレーニングは女性や男性の人格に関する物語に同様の影響を及ぼす。
• 参考スコア（独自算出の注目度）: 45.68157698206401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training is widely assumed to reduce the social biases language models inherit from pretraining, yet direct evidence for this assumption remains mixed. In this paper, we examine how gender disparities evolve across the language modeling pipeline. In particular, we study occupational gender bias in OLMo 3, a fully open language model family, across its post-training stages by prompting each checkpoint to generate open-ended narratives about synthetic personas given their occupation and education. We consider two settings, a gender-given setting in which the profile states the persona's gender explicitly and a gender-assumed setting in which it must be inferred by the model. We find that when gender is stated, post-training increases semantic diversity for male-coded profiles, whereas for female-coded profiles the increase is smaller after SFT and not significant after DPO and RLVR. When gender is assumed by the model, post-training affects narratives about female and male personas similarly. The model's own gender assumptions, however, show a consistent female-preferential skew relative to United States labor-force demographics, except for heavily male-dominated occupations. Every successive post-training stage monotonically increases the odds of attributing a female label over the base model. A provenance analysis of the supervised fine-tuning corpus finds only a modest 7.7% female-token surplus, too small to explain the size of these downstream effects. The project code is available under: https://github.com/manthangadhia/llm-lifecycle-bias.
• Abstract（参考訳）: ポストトレーニングは、言語モデルが事前トレーニングから受け継いだ社会的バイアスを減らすことが広く想定されているが、この仮定の直接的な証拠は依然として混在している。 本稿では,言語モデリングパイプラインにおける男女格差の進展について検討する。 特に,完全にオープンな言語モデルであるOLMo 3における職業性バイアスについて,各チェックポイントに,職業と教育が与えられた合成人格に関するオープンエンドな物語を生成するように促すことにより,訓練後の段階にわたって検討した。 本研究では,人物の性別を明示的に記述するジェンダーギブン・セッティングと,モデルで推測しなければならないジェンダー推定セッティングの2つを考察する。 性別が記載された場合、ポストトレーニングは男性コードプロファイルのセマンティック多様性を増加させる一方、女性コードプロファイルではSFT以降では増加が小さく、DPOやRLVR以降では重要でないことが判明した。 モデルによって性別が推定される場合、ポストトレーニングは女性や男性の人格に関する物語に同様の影響を及ぼす。 しかし、モデル自身の性別の仮定は、男性に支配的な職業を除いて、アメリカ合衆国の労働力人口層と比較して、一貫した女性優先スキューを示している。 連続したポストトレーニング段階はいずれも、基礎モデルに女性ラベルを付与する確率を単調に増加させる。 監督された微調整コーパスの証明分析では、この下流効果の大きさを説明するには小さすぎるが、わずか7.7%の女性の余剰量しか見つからない。 プロジェクトのコードは、https://github.com/manthangadhia/llm-lifecycle-bias.comで公開されている。

関連論文リスト

• Who Gets the Callback? Generative AI and Gender Bias [0.030693357740321777]
  大規模言語モデル(LLM)は特に高賃金の役割において男性を好む傾向にある。 求人広告における言語的特徴の包括的分析は、モデルレコメンデーションと伝統的なジェンダーステレオタイプとの強い整合性を示す。 我々の調査結果は、AIによる雇用が労働市場のバイアスを持続させ、企業内の公正性と多様性に影響を及ぼす可能性があることを強調している。
  論文  参考訳（メタデータ） (2025-04-30T07:55:52Z)
• Evaluating Gender Bias in Large Language Models [0.8636148452563583]
  本研究では,大規模言語モデル (LLMs) が職業文脈における代名詞選択における性別バイアスの程度について検討した。 対象とする職業は、男性に有意な存在感を持つものから女性に有意な集中力を持つものまで幅広い。 その結果, モデルの代名詞選択と, 労働力データに存在する性別分布との間には, 正の相関関係が認められた。
  論文  参考訳（メタデータ） (2024-11-14T22:23:13Z)
• Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora [9.959039325564744]
  大規模言語モデル(LLM)は、しばしば、トレーニングデータに埋め込まれた社会的バイアスを継承し、増幅する。 性バイアスとは、特定の役割や特性と特定の性別の関連性である。 ジェンダー表現バイアスは、性別の異なる個人への参照の不平等な頻度である。
  論文  参考訳（メタデータ） (2024-06-19T16:30:58Z)
• VisoGender: A dataset for benchmarking gender bias in image-text pronoun resolution [80.57383975987676]
  VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。 We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。 我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
  論文  参考訳（メタデータ） (2023-06-21T17:59:51Z)
• Exploring Gender Bias in Retrieval Models [2.594412743115663]
  情報検索におけるジェンダーバイアスの緩和は,ステレオタイプの普及を避けるために重要である。 本研究では,(1)クエリに対するドキュメントの関連性,(2)ドキュメントの“ジェンダー”という2つのコンポーネントからなるデータセットを用いる。 我々は,大容量のBERTエンコーダの完全微調整を行う場合,IRの事前学習モデルはゼロショット検索タスクではうまく動作しないことを示す。 また、事前学習されたモデルには性別バイアスがあり、検索された記事は女性よりも男性が多い傾向にあることを示した。
  論文  参考訳（メタデータ） (2022-08-02T21:12:05Z)
• Gendered Language in Resumes and its Implications for Algorithmic Bias in Hiring [0.0]
  我々は応募者の性別を分類するために一連のモデルを訓練する。 我々は、履歴書から性別を難読化できるかどうか検討する。 難読化後も履歴書には男女情報が多く存在することが判明した。
  論文  参考訳（メタデータ） (2021-12-16T14:26:36Z)
• Improving Gender Fairness of Pre-Trained Language Models without Catastrophic Forgetting [88.83117372793737]
  元のトレーニングデータに情報を埋め込むことは、モデルの下流のパフォーマンスを大きなマージンで損なう可能性がある。 本稿では,GEnder Equality Prompt(GEEP)を提案する。
  論文  参考訳（メタデータ） (2021-10-11T15:52:16Z)
• Multi-Dimensional Gender Bias Classification [67.65551687580552]
  機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。 本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。 このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
  論文  参考訳（メタデータ） (2020-05-01T21:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。