論文の概要: HERB: Measuring Hierarchical Regional Bias in Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2211.02882v1
• Date: Sat, 5 Nov 2022 11:30:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:46:34.994092
• Title: HERB: Measuring Hierarchical Regional Bias in Pre-trained Language Models
• Title（参考訳）: HERB:事前学習言語モデルにおける階層的地域バイアスの測定
• Authors: Yizhi Li, Ge Zhang, Bohao Yang, Chenghua Lin, Shi Wang, Anton Ragni, Jie Fu
• Abstract要約: 言語モデル(LM)における地域バイアスは、長年の世界的な差別問題である。 本稿では,事前学習した言語モデルから得られた地域バイアスを分析し,そのギャップを埋める。 本研究では,HyErarchical Regional Bias Evaluation法(HERB)を提案する。
• 参考スコア（独自算出の注目度）: 33.0987914452712
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fairness has become a trending topic in natural language processing (NLP), which addresses biases targeting certain social groups such as genders and religions. However, regional bias in language models (LMs), a long-standing global discrimination problem, still remains unexplored. This paper bridges the gap by analysing the regional bias learned by the pre-trained language models that are broadly used in NLP tasks. In addition to verifying the existence of regional bias in LMs, we find that the biases on regional groups can be strongly influenced by the geographical clustering of the groups. We accordingly propose a HiErarchical Regional Bias evaluation method (HERB) utilising the information from the sub-region clusters to quantify the bias in pre-trained LMs. Experiments show that our hierarchical metric can effectively evaluate the regional bias with respect to comprehensive topics and measure the potential regional bias that can be propagated to downstream tasks. Our codes are available at https://github.com/Bernard-Yang/HERB.
• Abstract（参考訳）: フェアネスは、ジェンダーや宗教など特定の社会グループをターゲットにしたバイアスに対処する自然言語処理(NLP)のトレンドとなっている。 しかし、長年の国際的差別問題である言語モデル(LM)の地域バイアスはまだ未解明のままである。 本稿では,NLPタスクで広く使用されている事前学習言語モデルから得られた地域バイアスを分析し,そのギャップを埋める。 lmsにおける地域バイアスの存在の検証に加えて,地域集団の偏りは,地域集団の地理的クラスタリングの影響を強く受け得ることを見出した。 そこで本研究では,事前学習したlmsのバイアスを定量化するために,サブリージョンクラスタからの情報を活用した階層的地域バイアス評価手法(herb)を提案する。 実験の結果, 階層的メトリクスは, 包括的トピックに対する地域バイアスを効果的に評価し, 下流タスクに伝達できる潜在的な地域バイアスを計測できることがわかった。 私たちのコードはhttps://github.com/bernard-yang/herbで利用可能です。

関連論文リスト

• LIBRA: Measuring Bias of Large Language Model from a Local Context [9.612845616659776]
  大規模言語モデル(LLM)は、かなり高度な自然言語処理アプリケーションを持っている。 しかし、彼らの普及した利用は、特定の社会集団の実用性や害を減少させる固有のバイアスに関する懸念を提起する。 本研究は,これらの制約を,バイアス測定のためのローカル統合バイアス認識評価フレームワーク(LIBRA)を用いて解決する。
  論文  参考訳（メタデータ） (2025-02-02T04:24:57Z)
• Towards Resource Efficient and Interpretable Bias Mitigation in Large Language Models [1.787433808079955]
  大規模言語モデル (LLM) は、学習データにおいて望ましくないバイアスを持続させる。 本稿では,小さなバイアスとアンチバイアスのエキスパートモデルを利用してバイアスを緩和し,デバイアス信号を得る。 性別、人種、宗教の偏見を緩和する実験は、いくつかの地域および世界的な偏見指標に偏見を減少させる。
  論文  参考訳（メタデータ） (2024-12-02T16:56:08Z)
• Promoting Equality in Large Language Models: Identifying and Mitigating the Implicit Bias based on Bayesian Theory [29.201402717025335]
  大規模言語モデル(LLM)は、必然的にバイアスのある情報を含む広範なテキストコーパスで訓練される。 我々は、暗黙のバイアス問題を正式に定義し、ベイズ理論に基づくバイアス除去のための革新的な枠組みを開発した。
  論文  参考訳（メタデータ） (2024-08-20T07:40:12Z)
• Towards Region-aware Bias Evaluation Metrics [26.91545185271231]
  性別バイアスの地域差を同定し,バイアス評価のための地域別ボトムアップアプローチを提案する。 提案手法は,ある地域におけるジェンダー・アライメント・トピックを使用し,トピック・ペアの形でジェンダー・バイアス・ディメンションを識別する。 提案するバイアストピックペアのいくつかは、既存のものと比較して、これらの領域における性別バイアスに対する人間の認識に匹敵するものである。
  論文  参考訳（メタデータ） (2024-06-23T16:26:27Z)
• Bias in Language Models: Beyond Trick Tests and Toward RUTEd Evaluation [49.3814117521631]
  大規模言語モデル(LLM)におけるバイアスと公平性の標準ベンチマークは、ユーザプロンプトに入力された社会的属性と短い応答の関係を測定する。 実世界の3つの文脈から類似したRUTEd評価法を開発した。 標準偏差指標は、より現実的な偏差指標と有意な相関関係がないことがわかった。
  論文  参考訳（メタデータ） (2024-02-20T01:49:15Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
  現在の顔認識(FR)モデルには、人口統計バイアスが存在する。 さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。 真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。 本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:05:49Z)
• LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
  コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。 クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。 毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
  論文  参考訳（メタデータ） (2020-10-06T16:42:51Z)
• Towards Controllable Biases in Language Generation [87.89632038677912]
  本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。 1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
  論文  参考訳（メタデータ） (2020-05-01T08:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。