論文の概要: Identifying and Mitigating Gender Cues in Academic Recommendation Letters: An Interpretability Case Study
- arxiv url: http://arxiv.org/abs/2604.12337v1
- Date: Tue, 14 Apr 2026 06:19:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.279306
- Title: Identifying and Mitigating Gender Cues in Academic Recommendation Letters: An Interpretability Case Study
- Title(参考訳): 学術レコメンデーションレターにおけるジェンダーキュウリの同定と誤用 : 解釈可能性に関する事例研究
- Authors: Charlotte S. Alexander, Shane Storks, Souradip Pal, Sayak Chakrabarty, Arushi Sharma, Mlen-Too Wesley, Bailey Russo,
- Abstract要約: レコメンデーションのレター(LoR)は、下流の決定に影響を及ぼす暗黙的に性別が付けられた言語のパターンを運ぶことができる。
本研究では,トランスフォーマーをベースとしたエンコーダモデルが,米国医療保険プログラムに提出された学術LoRの応募者の性別を推測できる範囲について検討する。
- 参考スコア(独自算出の注目度): 3.7181065265645814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Letters of recommendation (LoRs) can carry patterns of implicitly gendered language that can inadvertently influence downstream decisions, e.g. in hiring and admissions. In this work, we investigate the extent to which Transformer-based encoder models as well as Large Language Models (LLMs) can infer the gender of applicants in academic LoRs submitted to an U.S. medical-residency program after explicit identifiers like names and pronouns are de-gendered. While using three models (DistilBERT, RoBERTa, and Llama 2) to classify the gender of anonymized and de-gendered LoRs, significant gender leakage was observed as evident from up to 68% classification accuracy. Text interpretation methods, like TF-IDF and SHAP, demonstrate that certain linguistic patterns are strong proxies for gender, e.g. "emotional'' and "humanitarian'' are commonly associated with LoRs from female applicants. As an experiment in creating truly gender-neutral LoRs, these implicit gender cues were remove resulting in a drop of up to 5.5% accuracy and 2.7% macro $F_1$ score on re-training the classifiers. However, applicant gender prediction still remains better than chance. In this case study, our findings highlight that 1) LoRs contain gender-identifying cues that are hard to remove and may activate bias in decision-making and 2) while our technical framework may be a concrete step toward fairer academic and professional evaluations, future work is needed to interrogate the role that gender plays in LoR review. Taken together, our findings motivate upstream auditing of evaluative text in real-world academic letters of recommendation as a necessary complement to model-level fairness interventions.
- Abstract(参考訳): レコメンデーション(LoR)のレコメンデーション(レコメンデーションのレコメンデーション)は、インタヴューやインタヴューなど、下流の判断に不注意に影響を及ぼす可能性のある、暗黙的に性的な言語パターンを持てる。
本研究では,トランスフォーマーをベースとしたエンコーダモデルとLarge Language Models (LLMs) が,名称や代名詞などの明示的な識別子がデジェンダー化された後,米国医学研修プログラムに提出された学術LoRの応募者の性別を推定できる範囲について検討する。
使用中(DistilBERT,RoBERTa,Llama)
2) 匿名化・非性別化LoRの性別を分類するために, 68%の分類精度から有意な性別リークが観察された。
TF-IDFやSHAPのようなテキスト解釈法は、特定の言語パターンがジェンダーの強力なプロキシであることを示す。
真に性中立なLoRを作成する実験として、これらの暗黙の性別の手がかりは取り除かれ、その結果、最大5.5%の精度と2.7%のマクロ$F_1$スコアが、分類器を再訓練した。
しかし、応募者の性別予測は依然として偶然よりも優れている。
今回のケーススタディでは,この知見が注目されている。
1)LoRは、削除が困難で意思決定の偏見を活性化し得る性別識別手段を含む。
2)我々の技術枠組みは、より公正な学術的・専門的な評価に向けての具体的な一歩かもしれないが、今後は、LoRレビューにおいてジェンダーが果たす役割を問う必要がある。
本研究は, モデルレベルのフェアネス介入を補完する上で必要となる, 実世界の学術論文推薦書における評価テキストの上流監査を動機づけるものである。
関連論文リスト
- Benchmarking Educational LLMs with Analytics: A Case Study on Gender Bias in Feedback [0.06951558137930917]
本稿では,大規模言語モデル(LLM)のバイアスを検出するための埋め込み型ベンチマークフレームワークを提案する。
AES 2.0コーパスからの600の真正学生エッセイを用いて, 2次元に沿って制御された偽物を構築した。
GPT-5 mini, GPT-4o mini, DeepSeek-R1, DeepSeek-R1-Qwen, Gemini 2.5 Pro, Llama-3-8Bの6種類のLCMについて検討した。
すべてのモデルにおいて、暗黙的な操作は、男性や女性の反事実に対して、女性よりも大きな意味的シフトを確実に引き起こした。
論文 参考訳(メタデータ) (2025-11-11T13:28:44Z) - GenderCARE: A Comprehensive Framework for Assessing and Reducing Gender Bias in Large Language Models [73.23743278545321]
大規模言語モデル(LLM)は、自然言語生成において顕著な能力を示してきたが、社会的バイアスを増大させることも観察されている。
GenderCAREは、革新的な基準、バイアス評価、リダクションテクニック、評価メトリクスを含む包括的なフレームワークである。
論文 参考訳(メタデータ) (2024-08-22T15:35:46Z) - Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words [85.48043537327258]
既存の機械翻訳の性別バイアス評価は主に男性と女性の性別に焦点を当てている。
本研究では,AmbGIMT (Gender-Inclusive Machine Translation with Ambiguous attitude words) のベンチマークを示す。
本研究では,感情的態度スコア(EAS)に基づく性別バイアス評価手法を提案する。
論文 参考訳(メタデータ) (2024-07-23T08:13:51Z) - Probing Explicit and Implicit Gender Bias through LLM Conditional Text
Generation [64.79319733514266]
大規模言語モデル(LLM)はバイアスと有害な応答を生成する。
本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
論文 参考訳(メタデータ) (2023-11-01T05:31:46Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳(メタデータ) (2023-06-21T17:59:51Z) - Professional Presentation and Projected Power: A Case Study of Implicit
Gender Information in English CVs [8.947168670095326]
本稿では,男女のCVにおけるスキルと背景のフレーミングについて検討する。
我々は、米国から1.8Kの正当性、英語、CVのデータセットを導入し、16の職業をカバーした。
論文 参考訳(メタデータ) (2022-11-17T23:26:52Z) - Gendered Language in Resumes and its Implications for Algorithmic Bias
in Hiring [0.0]
我々は応募者の性別を分類するために一連のモデルを訓練する。
我々は、履歴書から性別を難読化できるかどうか検討する。
難読化後も履歴書には男女情報が多く存在することが判明した。
論文 参考訳(メタデータ) (2021-12-16T14:26:36Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳(メタデータ) (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。