論文の概要: A Robust Bias Mitigation Procedure Based on the Stereotype Content Model

• arxiv url: http://arxiv.org/abs/2210.14552v1
• Date: Wed, 26 Oct 2022 08:13:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 14:32:39.386987
• Title: A Robust Bias Mitigation Procedure Based on the Stereotype Content Model
• Title（参考訳）: ステレオタイプコンテンツモデルに基づくロバストなバイアス緩和手順
• Authors: Eddie L. Ungless and Amy Rafferty and Hrichika Nag and Bj\"orn Ross
• Abstract要約: 我々は,Stereotype Contentモデルが文脈的単語埋め込みに有効であることを示すために,既存の作業に適応する。 SCM用語は、快楽に関する人口統計学用語よりも偏見を捉えることができる。 本研究は,モデルにおける偏見の具体的知識の事前知識の不要化を目的とした,偏見処理のプロトタイプとして提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Stereotype Content model (SCM) states that we tend to perceive minority groups as cold, incompetent or both. In this paper we adapt existing work to demonstrate that the Stereotype Content model holds for contextualised word embeddings, then use these results to evaluate a fine-tuning process designed to drive a language model away from stereotyped portrayals of minority groups. We find the SCM terms are better able to capture bias than demographic agnostic terms related to pleasantness. Further, we were able to reduce the presence of stereotypes in the model through a simple fine-tuning procedure that required minimal human and computer resources, without harming downstream performance. We present this work as a prototype of a debiasing procedure that aims to remove the need for a priori knowledge of the specifics of bias in the model.
• Abstract（参考訳）: Stereotype Content Model (SCM) では、少数派を冷たく、無能で、両方と認識する傾向がある。 本稿では,Stereotype Contentモデルが文脈的単語埋め込みに有効であることを実証するために既存の作業に適応し,これらの結果を用いて,少数群のステレオタイプ表現から言語モデルを遠ざけるよう設計された微調整プロセスを評価する。 SCM用語は、快楽に関連する人口統計学的用語よりも偏見を捉えることができる。 さらに,ダウンストリームのパフォーマンスを損なうことなく,最小限の人的・コンピュータ的資源を必要とする単純な微調整手順によって,モデル内のステレオタイプの存在を低減できた。 本研究は,モデルにおける偏見の具体的知識の事前知識の不要化を目的とした,偏見処理のプロトタイプとして提案する。

関連論文リスト

• REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning [18.064064773660174]
  本稿では、強化学習を用いて様々なバイアスを微調整せずに処理する脱バイアス法REFINE-LMを紹介する。 LMの単語確率分布の上に簡単なモデルをトレーニングすることにより、バイアス強化学習法により、人間のアノテーションを使わずにモデルの偏りを抑えることができる。 複数のLMを含む多種多様なモデルで行った実験により,本手法は,LMの性能を維持しながら,ステレオタイプバイアスを著しく低減することを示した。
  論文  参考訳（メタデータ） (2024-08-18T14:08:31Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Leveraging Prototypical Representations for Mitigating Social Bias without Demographic Information [50.29934517930506]
  DAFairは、言語モデルにおける社会的バイアスに対処する新しいアプローチである。 偏見を緩和するために、原型的人口統計テキストを活用し、微調整プロセス中に正規化用語を取り入れる。
  論文  参考訳（メタデータ） (2024-03-14T15:58:36Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• RS-Corrector: Correcting the Racial Stereotypes in Latent Diffusion Models [20.53932777919384]
  本稿では,潜在空間における反ステレオタイプ的嗜好を確立するためのフレームワークRS-Correctorを提案する。 広範な経験的評価は、導入されたモデルが、十分に訓練された安定拡散モデルの人種的ステレオタイプを効果的に補正することを示した。
  論文  参考訳（メタデータ） (2023-12-08T02:59:29Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• MultiModal Bias: Introducing a Framework for Stereotypical Bias Assessment beyond Gender and Race in Vision Language Models [40.12132844347926]
  MMBiasと呼ばれる視覚的およびテキスト的バイアスベンチマークを提供し、約3,800の画像と14のサブグループをカバーするフレーズからなる。 このデータセットを用いて、CLIP、ALBEF、VLTを含むいくつかの著名な自己監督型マルチモーダルモデルにおけるバイアスを評価する。 バイアスを緩和するための後処理ステップとして適用可能な,大規模な事前学習モデルに特化して設計されたデバイアス処理手法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T17:36:37Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。