論文の概要: HERB: Measuring Hierarchical Regional Bias in Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2211.02882v1
• Date: Sat, 5 Nov 2022 11:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:46:34.994092
• Title: HERB: Measuring Hierarchical Regional Bias in Pre-trained Language Models
• Title（参考訳）: HERB:事前学習言語モデルにおける階層的地域バイアスの測定
• Authors: Yizhi Li, Ge Zhang, Bohao Yang, Chenghua Lin, Shi Wang, Anton Ragni, Jie Fu
• Abstract要約: 言語モデル(LM)における地域バイアスは、長年の世界的な差別問題である。 本稿では,事前学習した言語モデルから得られた地域バイアスを分析し,そのギャップを埋める。 本研究では,HyErarchical Regional Bias Evaluation法(HERB)を提案する。
• 参考スコア（独自算出の注目度）: 33.0987914452712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fairness has become a trending topic in natural language processing (NLP), which addresses biases targeting certain social groups such as genders and religions. However, regional bias in language models (LMs), a long-standing global discrimination problem, still remains unexplored. This paper bridges the gap by analysing the regional bias learned by the pre-trained language models that are broadly used in NLP tasks. In addition to verifying the existence of regional bias in LMs, we find that the biases on regional groups can be strongly influenced by the geographical clustering of the groups. We accordingly propose a HiErarchical Regional Bias evaluation method (HERB) utilising the information from the sub-region clusters to quantify the bias in pre-trained LMs. Experiments show that our hierarchical metric can effectively evaluate the regional bias with respect to comprehensive topics and measure the potential regional bias that can be propagated to downstream tasks. Our codes are available at https://github.com/Bernard-Yang/HERB.
• Abstract（参考訳）: フェアネスは、ジェンダーや宗教など特定の社会グループをターゲットにしたバイアスに対処する自然言語処理(NLP)のトレンドとなっている。 しかし、長年の国際的差別問題である言語モデル(LM)の地域バイアスはまだ未解明のままである。 本稿では,NLPタスクで広く使用されている事前学習言語モデルから得られた地域バイアスを分析し,そのギャップを埋める。 lmsにおける地域バイアスの存在の検証に加えて,地域集団の偏りは,地域集団の地理的クラスタリングの影響を強く受け得ることを見出した。 そこで本研究では,事前学習したlmsのバイアスを定量化するために,サブリージョンクラスタからの情報を活用した階層的地域バイアス評価手法(herb)を提案する。 実験の結果, 階層的メトリクスは, 包括的トピックに対する地域バイアスを効果的に評価し, 下流タスクに伝達できる潜在的な地域バイアスを計測できることがわかった。 私たちのコードはhttps://github.com/bernard-yang/herbで利用可能です。

関連論文リスト

• Promoting Equality in Large Language Models: Identifying and Mitigating the Implicit Bias based on Bayesian Theory [29.201402717025335]
  大規模言語モデル(LLM)は、必然的にバイアスのある情報を含む広範なテキストコーパスで訓練される。 我々は、暗黙のバイアス問題を正式に定義し、ベイズ理論に基づくバイアス除去のための革新的な枠組みを開発した。
  論文  参考訳（メタデータ） (2024-08-20T07:40:12Z)
• REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning [18.064064773660174]
  本稿では、強化学習を用いて様々なバイアスを微調整せずに処理する脱バイアス法REFINE-LMを紹介する。 LMの単語確率分布の上に簡単なモデルをトレーニングすることにより、バイアス強化学習法により、人間のアノテーションを使わずにモデルの偏りを抑えることができる。 複数のLMを含む多種多様なモデルで行った実験により,本手法は,LMの性能を維持しながら,ステレオタイプバイアスを著しく低減することを示した。
  論文  参考訳（メタデータ） (2024-08-18T14:08:31Z)
• Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Towards Region-aware Bias Evaluation Metrics [26.91545185271231]
  性別バイアスの地域差を同定し,バイアス評価のための地域別ボトムアップアプローチを提案する。 提案手法は,ある地域におけるジェンダー・アライメント・トピックを使用し,トピック・ペアの形でジェンダー・バイアス・ディメンションを識別する。 提案するバイアストピックペアのいくつかは、既存のものと比較して、これらの領域における性別バイアスに対する人間の認識に匹敵するものである。
  論文  参考訳（メタデータ） (2024-06-23T16:26:27Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
  異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。 我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。 3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
  論文  参考訳（メタデータ） (2023-11-29T23:03:04Z)
• Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
  現在の顔認識(FR)モデルには、人口統計バイアスが存在する。 さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。 真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。 本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:05:49Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• Towards Controllable Biases in Language Generation [87.89632038677912]
  本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。 1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
  論文  参考訳（メタデータ） (2020-05-01T08:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。