論文の概要: Fine-Tuning Strategy, Not Just Data: A Statistically Rigorous Audit of Gender and Stereotypical Bias in Embedding Models for HR Recommendation Systems
- arxiv url: http://arxiv.org/abs/2610.14579v1
- Date: Sat, 10 Oct 2026 04:57:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 12:50:31.754549
- Title: Fine-Tuning Strategy, Not Just Data: A Statistically Rigorous Audit of Gender and Stereotypical Bias in Embedding Models for HR Recommendation Systems
- Title(参考訳): 人事推薦システムの埋め込みモデルにおける性差とステレオタイプバイアスの統計的厳密な監査
- Abstract要約: Bias-in-Bios と StereoSet を用いて6つの多言語文埋め込みモデルを評価する。
E5-Baseの微調整はBias-in-Biosの測定バイアスを著しく増大させる。
同じベースモデルのバイナリ分類微調整は、統計的に区別可能な変化を示さない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embedding models underpin modern job-candidate matching: resumes, job descriptions, and queries are encoded as dense vectors, and recommendations come from nearest-neighbor retrieval over that space. Any social bias in the embeddings therefore feeds directly into HR recommendations. We audit six multilingual sentence-embedding models (LaBSE- and E5-family, both public and custom fine-tuned) using Bias-in-Bios (occupational gender bias) and StereoSet (stereotypes across profession, race, gender, and religion). We treat statistical validity as a first-class concern: we identify a non-independence error in a naive significance test, where pooling non-independent pairwise similarities inflated a trivial 0.0046 mean difference to $p \approx 0$, and replace it with a profession-level paired Wilcoxon signed-rank test, individual-resampling bootstrap confidence intervals, and permutation tests for StereoSet. Under the corrected methodology, knowledge-distillation (KD) fine-tuning of E5-Base significantly increases measured bias on Bias-in-Bios ($Δ= -0.177$, $p < 10^{-8}$; more negative means more bias), although this measure is sensitive to global embedding geometry. The KD result is corroborated by pro-stereotype patterns in the StereoSet profession category (uncorrected $p < 0.05$). Binary-classification fine-tuning of the same base model shows no statistically distinguishable change ($p = 0.218$). Fine-tuning strategy is thus an actionable design lever for practitioners building HR recommenders. We also report which benchmark categories are underpowered, and note that two domain-adapted models could not be included in significance testing due to a software-access constraint, which limits our conclusions.
- Abstract(参考訳): 履歴書、ジョブ記述、クエリは、密度の高いベクトルとしてエンコードされる。
したがって、埋め込みにおける社会的偏見は、直接人事勧告に影響を及ぼす。
我々は、Bias-in-Bios(占有性バイアス)とStereoSet(職業、人種、性別、宗教のステレオタイプ)を用いて、6つの多言語文埋め込みモデル(LaBSE-およびE5- family、パブリックおよびカスタム微調整)を監査する。
そこでは,非独立なペアワイド類似性をプールすると,自明な0.0046の平均差が$p \approx 0$に膨らませられ,専門レベルのWilcoxonサインランクテスト,個別サンプリングブートストラップ信頼区間,StereoSetの置換テストに置き換えられる。
修正された手法の下では、知識蒸留(KD)によるE5-Baseの微調整により、Bias-in-Bios(Δ= -0.177$, $p < 10^{-8}$; より負はよりバイアスを意味する)の測定バイアスが著しく増加するが、この測定はグローバルな埋め込み幾何学に敏感である。
KDの結果は、StereoSetの専門分野(未修正の$p < 0.05$)のプロステレオタイプパターンによって裏付けられる。
同じベースモデルのバイナリ分類微調整は、統計的に区別可能な変化(p = 0.218$)を示さない。
ファインチューニング戦略は、HRレコメンデーターを構築する実践者にとって、実用的なデザインレバーである。
また、どのベンチマークカテゴリが非力であるかを報告し、ソフトウェアアクセス制約のため、2つのドメイン適応モデルが重要なテストには含まれないことに注意した。
関連論文リスト
- Counterfactual Bias Testing for Application Tracking System [1.007765066765576]
本稿では,タスク特化LDMエージェントを用いて,アイデンティティニュートラルベース履歴を合成し,人口統計学的治療を注入する。
それは、微調整された文埋め込みモデルとコサイン類似性を通じて、ジョブ記述に対する候補をランク付けする。
カウンターファクトアル(スコアデルタ、平均絶対ランク変更、フリップレート)、グループフェアネス(トップK保持、4/5/インパクト比)、メリットアウェア(リコール@K、nDCG@K、平等機会、等化オッズ)にまたがる9メトリックフェアネススイートを計算する。
論文 参考訳(メタデータ) (2026-08-27T10:01:36Z) - Bias Audits Detect Bias but Disagree on Ranking: Evidence from Ten Instruments and Ten Frontier Models [2.422857892314494]
10のフロンティアモデルの共通パネル上で10の監査楽器を実行します。
10のツールのうち8つは、信頼区間がゼロであるバイアスを検出する。
クロスツールのランク契約は偶然と区別できない。
論文 参考訳(メタデータ) (2026-07-09T15:38:31Z) - Decoding-Time Debiasing via Process Reward Models: From Controlled Fill-in to Open-Ended Generation [0.0]
大規模な言語モデルは、トレーニングされたデータから社会的バイアスを拾い上げ、下流のアプリケーションにバイアスを運ぶ。
本稿では,デコーディング時にモデルをデバイアス化し,モデルの重みに触れることなく,候補トークンに対するバイアス緩和を構造化された探索として扱う。
我々は、高度化のための3つのスキーム(Best-of-N selection, Sequential critique-and-Revise, Constitutional self-audit)を設計し、4つのモデルで評価する。
論文 参考訳(メタデータ) (2026-05-04T08:51:34Z) - Bootstrapping with AI/ML-generated labels [0.0]
推定されたラベルを用いてデータを生成するが、推定において破損したバージョンに依存している、一見自然な固定ラベルブートストラップは、強い独立条件が満たさない限り、一般的には無効であることを示す。
本報告では, 真のラベルとインプットを併用したブートストラップを提案し, この条件を使わずに有効であることを示す。
シミュレーションの手法を概説し、賃金とリモートワークの状況との関係について検討する。
論文 参考訳(メタデータ) (2026-04-26T15:48:03Z) - Contextual StereoSet: Stress-Testing Bias Alignment Robustness in Large Language Models [0.0]
測定されたバイアスは、異なる場所、時間、またはオーディエンスに言及するプロンプトによって劇的に変化することを示す。
本研究では,コンテキストフレーミングを体系的に変更しながら,ステレオタイプコンテンツを固定したベンチマークであるContextual StereoSetを紹介する。
論文 参考訳(メタデータ) (2026-01-15T14:50:49Z) - The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。
我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。
StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
論文 参考訳(メタデータ) (2024-06-14T15:41:06Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳(メタデータ) (2023-10-18T10:32:39Z) - Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。
AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。
誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
論文 参考訳(メタデータ) (2022-09-22T04:32:51Z) - D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling
Algorithmic Bias [57.87117733071416]
D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。
ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。
それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
論文 参考訳(メタデータ) (2022-08-10T03:41:48Z) - Few-shot Instruction Prompts for Pretrained Language Models to Detect
Social Biases [55.45617404586874]
我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。
大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
論文 参考訳(メタデータ) (2021-12-15T04:19:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。