論文の概要: Acmite: Mitigating Gender Bias in LLMs through Concept-Guided Mutual Information

• arxiv url: http://arxiv.org/abs/2610.01696v1
• Date: Thu, 01 Oct 2026 13:46:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.155565
• Title: Acmite: Mitigating Gender Bias in LLMs through Concept-Guided Mutual Information
• Title（参考訳）: Acmite:概念ガイド型相互情報によるLDMにおける性バイアスの緩和
• Abstract要約: Acmiteは、ターゲットおよび選択的脱バイアスのための軽量な概念誘導フレームワークである。 ライトウェイトなLoRAアダプタは、入力がステレオタイプ関連の概念と十分に類似している場合にのみ、ベースモデルを凍結して、推論時にアクティベートして訓練される。 実験により、Acmiteは、相補的な評価形式にまたがる性別バイアスを効果的に軽減し、バイアス非関連タスクにおける競争性能を維持していることが示された。
• 参考スコア（独自算出の注目度）: 10.02374426255413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can reproduce social stereotypes from their training data, motivating extensive research on model debiasing. However, existing methods often rely on explicit biased examples or predefined group-term substitutions, making them sensitive to wording and less effective at capturing stereotype concepts shared across diverse contexts. More importantly, they typically suppress biased outputs without explicitly modeling the statistical dependence between model outputs and the underlying stereotype concepts. We propose Acmite, a lightweight concept-guided framework for targeted and selective debiasing. Acmite represents stereotypes as structured semantic concepts and uses maximal marginal relevance (MMR) to select diverse concepts for debiasing. Inspired by mutual information minimization, it approximates this dependence with token-level KL divergence while preserving task semantics. A lightweight LoRA adapter is trained with the base model frozen and activated at inference time only when the input is sufficiently similar to stereotype-related concepts; otherwise, the original model is used directly. We evaluate Acmite on BBQ, CrowS-Pairs, and StereoSet, and assess general capability preservation on ARC-Challenge, GSM8K, and PIQA. Experiments across three LLMs show that Acmite effectively mitigates gender bias across complementary evaluation formats while maintaining competitive performance on bias-unrelated tasks. Anonymous code and data are available at https://anonymous.4open.science/r/Acmite-18E2/.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、トレーニングデータから社会的ステレオタイプを再現することができ、モデルデバイアスに関する広範な研究を動機付けている。 しかし、既存の手法は、しばしば明示的な偏見のある例や事前定義されたグループ間の置換に依存しており、言葉の扱いに敏感であり、様々な文脈で共有されるステレオタイプの概念を捉えるのに効果的ではない。 さらに重要なのは、モデル出力と基礎となるステレオタイプ概念の間の統計的依存を明示的にモデル化することなく、偏りのある出力を抑えることである。 Acmiteは、ターゲットおよび選択的脱バイアスのための軽量な概念誘導フレームワークである。 Acmiteはステレオタイプを構造化セマンティックな概念として表現し、最大縁関係(MMR)を用いてデバイアスの多様な概念を選択する。 相互情報の最小化にインスパイアされ、タスクのセマンティクスを保ちながらトークンレベルのKL分散とこの依存を近似する。 ライトウェイトなLoRAアダプタは、入力がステレオタイプ関連の概念と十分に類似している場合にのみ、ベースモデルが凍結して実行され、推論時にアクティベートされる。 Acmite on BBQ, CrowS-Pairs, StereoSet, and evaluation on ARC-Challenge, GSM8K, PIQA。 3つのLCMを対象とした実験により、Acmiteは、相補的な評価形式をまたいだ性バイアスを効果的に軽減し、バイアス非関連タスクにおける競争性能を維持していることが示された。 匿名のコードとデータはhttps://anonymous.4open.science/r/Acmite-18E2/で入手できる。

関連論文リスト

• Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement [66.67463557274358]
  バイアス付きデータセットに基づいてトレーニングされた基礎モデルは、しばしばターゲットラベルと非因果属性の間の急激な相関に依存する。 信頼誘導概念マイニング(CBCM:Confidence-guided Concept Mining)を導入し,属性アノテーションを使わずに信頼性の高いスプリアス属性を同定する。 本稿では,目標と突発的な表現を2つのブランチに分離するプロンプトチューニングフレームワークであるDual-branch Cross-projection Debiasing (DCD)を提案する。
  論文  参考訳（メタデータ） (2026-06-23T05:28:47Z)
• Aligned but Blind: Alignment Increases Implicit Bias by Reducing Awareness of Race [14.700348476541684]
  文脈が曖昧である場合, 言語モデル(LM)は, 初期内部表現における人種概念を無視することを示す。 本稿では,初期モデル層における人種概念の表現を動機付けることによって,新たなバイアス緩和戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-30T21:41:44Z)
• Evaluate Bias without Manual Test Sets: A Concept Representation Perspective for LLMs [25.62533031580287]
  大規模言語モデル(LLM)のバイアスは、その信頼性と公平性を著しく損なう。 モデルベクトル空間の構造に基づくテストセットのないバイアス分析フレームワークであるBiasLensを提案する。
  論文  参考訳（メタデータ） (2025-05-21T13:50:23Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• Evaluating the Fairness of Discriminative Foundation Models in Computer Vision [51.176061115977774]
  本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。 そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。 具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
  論文  参考訳（メタデータ） (2023-10-18T10:32:39Z)
• Gender Biases in Automatic Evaluation Metrics for Image Captioning [87.15170977240643]
  画像キャプションタスクのためのモデルに基づく評価指標において、性別バイアスの体系的研究を行う。 偏りのある世代と偏りのない世代を区別できないことを含む、これらの偏りのあるメトリクスを使用することによる負の結果を実証する。 人間の判断と相関を損なうことなく、測定バイアスを緩和する簡便で効果的な方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T04:27:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。