論文の概要: Local Contrastive Editing of Gender Stereotypes

• arxiv url: http://arxiv.org/abs/2410.17739v1
• Date: Wed, 23 Oct 2024 10:12:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:57:26.966436
• Title: Local Contrastive Editing of Gender Stereotypes
• Title（参考訳）: ジェンダーステレオタイプの局所的コントラスト編集
• Authors: Marlene Lutz, Rochelle Choenni, Markus Strohmaier, Anne Lauscher,
• Abstract要約: 言語モデル(LM)に符号化されたステレオタイプバイアスは、安全な言語技術に対する脅威となる。 本稿では,参照モデルに関する対象モデルにおける重みのサブセットのローカライズと編集を可能にする,局所的コントラスト編集を提案する。 局所的なコントラスト編集は、性別バイアスを符号化する重みの小さな部分集合を正確にローカライズし、制御できることを実証する。
• 参考スコア（独自算出の注目度）: 12.567659596741192
• License:
• Abstract: Stereotypical bias encoded in language models (LMs) poses a threat to safe language technology, yet our understanding of how bias manifests in the parameters of LMs remains incomplete. We introduce local contrastive editing that enables the localization and editing of a subset of weights in a target model in relation to a reference model. We deploy this approach to identify and modify subsets of weights that are associated with gender stereotypes in LMs. Through a series of experiments, we demonstrate that local contrastive editing can precisely localize and control a small subset (< 0.5%) of weights that encode gender bias. Our work (i) advances our understanding of how stereotypical biases can manifest in the parameter space of LMs and (ii) opens up new avenues for developing parameter-efficient strategies for controlling model properties in a contrastive manner.
• Abstract（参考訳）: 言語モデル(LM)に符号化されたステレオタイプバイアスは、安全な言語技術に脅威をもたらすが、LMのパラメータにおけるバイアスがどのように現れるかの理解はいまだ不完全である。 本稿では,参照モデルに関する対象モデルにおける重みのサブセットの局所化と編集を可能にする,局所的コントラスト編集を提案する。 本手法は、LMの性別ステレオタイプに関連する重みのサブセットを特定し、修正するためのものである。 一連の実験を通して、局所的なコントラスト編集が、性別バイアスを符号化する小さな部分集合(0.5%)を正確に局所化し、制御できることを実証した。 作品 i) LMのパラメータ空間におけるステレオタイプバイアスがどのように現れるかの理解を深める。 (II) モデル特性を対照的に制御するためのパラメータ効率の高い戦略を開発するための新たな道を開く。

関連論文リスト

• MASALA: Model-Agnostic Surrogate Explanations by Locality Adaptation [3.587367153279351]
  既存のローカル説明可能なAI(XAI)メソッドは、与えられた入力インスタンスの近傍にある入力空間の領域を選択し、より単純で解釈可能な代理モデルを用いてモデルの振る舞いを近似する。 そこで本研究では,各インスタンスごとの衝突モデル行動の適切な局所領域を自動決定する手法であるMASALAを提案する。
  論文  参考訳（メタデータ） (2024-08-19T15:26:45Z)
• REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning [18.064064773660174]
  本稿では、強化学習を用いて様々なバイアスを微調整せずに処理する脱バイアス法REFINE-LMを紹介する。 LMの単語確率分布の上に簡単なモデルをトレーニングすることにより、バイアス強化学習法により、人間のアノテーションを使わずにモデルの偏りを抑えることができる。 複数のLMを含む多種多様なモデルで行った実験により,本手法は,LMの性能を維持しながら,ステレオタイプバイアスを著しく低減することを示した。
  論文  参考訳（メタデータ） (2024-08-18T14:08:31Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• Probing Explicit and Implicit Gender Bias through LLM Conditional Text Generation [64.79319733514266]
  大規模言語モデル(LLM)はバイアスと有害な応答を生成する。 本研究では,あらかじめ定義されたジェンダーフレーズやステレオタイプを必要としない条件付きテキスト生成機構を提案する。
  論文  参考訳（メタデータ） (2023-11-01T05:31:46Z)
• In-Contextual Gender Bias Suppression for Large Language Models [47.246504807946884]
  大きな言語モデル (LLM) は、性バイアスの心配レベルをエンコードしていると報告されている。 手動で設計したテンプレートから構築したプリアンブルを提供することにより,LLMのバイアス発生を防止するバイアス抑制を提案する。 その結果,HellaSwag と COPA による下流タスク性能にバイアス抑制が悪影響があることが判明した。
  論文  参考訳（メタデータ） (2023-09-13T18:39:08Z)
• In-Context Retrieval-Augmented Language Models [28.23702459322163]
  In-Context RALMは市販の汎用検索機を利用して、モデルサイズや多様なコーパスに対して驚くほど大きなLMゲインを提供する。 In-Context RALM は LM の接地頻度を増大させる可能性があると結論付けている。
  論文  参考訳（メタデータ） (2023-01-31T20:26:16Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。