論文の概要: What Does Debiasing Really Remove? A Geometric Study of PCA-Based Gender Debiasing in Word Embeddings

• arxiv url: http://arxiv.org/abs/2606.07964v1
• Date: Sat, 06 Jun 2026 03:44:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:05.58744
• Title: What Does Debiasing Really Remove? A Geometric Study of PCA-Based Gender Debiasing in Word Embeddings
• Title（参考訳）: デバイアスは本当に除去されるのか? 単語埋め込みにおけるPCAに基づくジェンダーデバイアスの幾何学的研究
• Authors: Alexey Kresin, Tchifou M. Dieffi, Tomer Caspi,
• Abstract要約: 我々は,PCAをベースとしたジェンダーデバイアスの体系的分析を行い,埋め込み空間から実際に取り除かれたものについて検討する。 直接性バイアスは主に第1の主成分に集中しており、低ランクバイアス仮説を支持している。 WEATが測定した連想バイアスは、これらの主方向と一致せず、代わりに複数の埋め込み次元に分散する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Debiasing methods based on principal component analysis (PCA) are broadly used to reduce gender bias in word embeddings used in LLMs, yet it remains unclear what aspects of bias they actually remove and how destructive this process is. These methods are based on the understanding that bias resides in a low-dimensional subspace, with the assumption that most of it can be captured by a few principal components. In this work, we conduct a systematic geometric analysis of PCA-based gender debiasing and investigate what is actually removed from the embedding space. Our experiments across multiple embeddings show that direct gender bias is primarily concentrated in the first principal component, supporting the low-rank bias hypothesis. However, associative bias measured by WEAT does not align with these principal directions and is instead spread across multiple embedding dimensions. Furthermore, as expected, we demonstrate that removing an increasing number of principal components leads to a consistent degradation of the embedding geometry, affecting semantic structure and vector relationships. These results reveal that PCA-based debiasing operates as a trade-off: while it effectively reduces certain forms of direct bias, it fails to eliminate distributed associations and introduces geometric distortion. Moreover, there is no universal optimal level of debiasing, as the balance between bias reduction and semantic preservation depends on the chosen metric and embedding. Overall, our findings suggest that bias in word embeddings is not purely low-rank and that simple subspace removal methods may be insufficient for comprehensive debiasing.
• Abstract（参考訳）: 主成分分析(PCA)に基づくデバイアス法は、LLMで使用される単語埋め込みにおける性バイアスの低減に広く用いられているが、実際に除去されるバイアスのどの側面と、このプロセスが破壊的であるかは明らかになっていない。 これらの手法は、バイアスが低次元の部分空間に存在するという理解に基づいており、そのほとんどをいくつかの主成分によって捉えることができると仮定している。 そこで本研究では,PCAをベースとしたジェンダーデバイアスの系統的幾何学的解析を行い,埋め込み空間から実際に取り除かれたものについて検討する。 複数の埋め込みに関する実験により、直接性バイアスは主に第1の主成分に集中しており、低ランクバイアス仮説を支持していることが示された。 しかし、WEATが測定した連想バイアスはこれらの主方向と一致せず、代わりに複数の埋め込み次元に分散する。 さらに, 予想されるように, 主成分の除去によって埋め込み形状が一貫した劣化し, 意味構造やベクトル関係に影響を及ぼすことを示した。 これらの結果から,PCAに基づくデバイアスはトレードオフとして機能し,特定の形態の直接バイアスを効果的に低減するが,分散結合を排除せず,幾何学的歪みを導入する。 さらに、バイアス低減と意味保存のバランスは、選択された計量と埋め込みに依存するため、デバイアスの普遍的な最適レベルは存在しない。 総じて,単語埋め込みのバイアスは純粋に低ランクではなく,単純部分空間除去法は包括的嫌悪には不十分である可能性が示唆された。

関連論文リスト

• Bias Is a Subspace, Not a Coordinate: A Geometric Rethinking of Post-hoc Debiasing in Vision-Language Models [13.46898179372249]
  VLM(Vision-Language Models)は、マルチモーダルな推論には欠かせないものとなっているが、それらの表現はしばしば人口統計バイアスをエンコードし増幅している。 線形デオード可能なバイアスの全部分空間を同定・除去する幾何学的原理の枠組みを提案する。 提案手法は, 4つのフェアネス指標に対して平均18.5%の精度向上を達成し, より堅牢なデバイアス化を実現する。
  論文  参考訳（メタデータ） (2025-11-22T17:04:30Z)
• Going Beyond Popularity and Positivity Bias: Correcting for Multifactorial Bias in Recommender Systems [74.47680026838128]
  ユーザインタラクションデータとレコメンダシステム(RS)の2つの典型的なバイアスは、人気バイアスと肯定バイアスである。 項目と評価値の双方に影響される多因子選択バイアスについて検討する。 分散を低減し、最適化の堅牢性を向上させるため、スムースで交互に勾配降下する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T12:18:21Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Partition-and-Debias: Agnostic Biases Mitigation via A Mixture of Biases-Specific Experts [24.055919128977195]
  本稿では,偏差空間を複数の部分空間に暗黙的に分割するために,偏差特異的な専門家の混合を用いた分割・偏差法(PnD)を提案する。 公開および構築されたベンチマークの実験は、PnDの有効性を実証した。
  論文  参考訳（メタデータ） (2023-08-19T13:11:40Z)
• Exploring the Linear Subspace Hypothesis in Gender Bias Mitigation [57.292988892028134]
  Bolukbasi et al. は、単語表現のための最初の性別バイアス緩和手法の1つである。 我々はそれらの手法を、カーネル化された非線形バージョンに一般化する。 我々は、バイアス部分空間が実際に線型であるかどうかを経験的に分析する。
  論文  参考訳（メタデータ） (2020-09-20T14:13:45Z)
• MDR Cluster-Debias: A Nonlinear WordEmbedding Debiasing Pipeline [3.180013942295509]
  単語埋め込みの既存の手法は、しばしば表面的には、特定の性別とステレオタイプに結びついている単語は、デバイアスされた空間で一緒にクラスタ化される。 本稿では、この残差クラスタリングがなぜ存在するのか、どのように対処されるのかを考察する。 残留バイアスが存在する2つの潜在的な理由を特定し、このバイアスを軽減するために新しいパイプラインであるMDR Cluster-Debiasを開発する。
  論文  参考訳（メタデータ） (2020-06-20T20:03:07Z)
• Nurse is Closer to Woman than Surgeon? Mitigating Gender-Biased Proximities in Word Embeddings [37.65897382453336]
  単語ベクターの空間配置に隠された性別バイアスを緩和することは,既存の単語埋め込みの処理方法では不可能である。 我々は,単語ベクトルに存在するバイアスを排除し,隣接するベクトルの空間分布を変化させる,新しいジェンダーデバイアス手法であるRAN-Debiasを提案する。 我々はまた、新しいバイアス評価指標、ジェンダーベースIllicit Proximity Estimate (GIPE)を提案する。
  論文  参考訳（メタデータ） (2020-06-02T20:50:43Z)
• Mitigating Gender Bias Amplification in Distribution by Posterior Regularization [75.3529537096899]
  本稿では,男女差の増幅問題について,分布の観点から検討する。 後続正則化に基づくバイアス緩和手法を提案する。 私たちの研究はバイアス増幅の理解に光を当てている。
  論文  参考訳（メタデータ） (2020-05-13T11:07:10Z)
• Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation [94.98656228690233]
  本稿では,性別サブスペースの推測と削除に先立って,コーパス正規性に対する単語埋め込みを浄化する手法を提案する。 本手法は,事前学習した単語埋め込みの分布的意味を保ちつつ,性別バイアスを従来の手法よりもはるかに大きい程度に低減する。
  論文  参考訳（メタデータ） (2020-05-03T02:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。