論文の概要: HERB: Measuring Hierarchical Regional Bias in Pre-trained Language
Models
- arxiv url: http://arxiv.org/abs/2211.02882v1
- Date: Sat, 5 Nov 2022 11:30:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 16:46:34.994092
- Title: HERB: Measuring Hierarchical Regional Bias in Pre-trained Language
Models
- Title(参考訳): HERB:事前学習言語モデルにおける階層的地域バイアスの測定
- Authors: Yizhi Li, Ge Zhang, Bohao Yang, Chenghua Lin, Shi Wang, Anton Ragni,
Jie Fu
- Abstract要約: 言語モデル(LM)における地域バイアスは、長年の世界的な差別問題である。
本稿では,事前学習した言語モデルから得られた地域バイアスを分析し,そのギャップを埋める。
本研究では,HyErarchical Regional Bias Evaluation法(HERB)を提案する。
- 参考スコア(独自算出の注目度): 33.0987914452712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Fairness has become a trending topic in natural language processing (NLP),
which addresses biases targeting certain social groups such as genders and
religions. However, regional bias in language models (LMs), a long-standing
global discrimination problem, still remains unexplored. This paper bridges the
gap by analysing the regional bias learned by the pre-trained language models
that are broadly used in NLP tasks. In addition to verifying the existence of
regional bias in LMs, we find that the biases on regional groups can be
strongly influenced by the geographical clustering of the groups. We
accordingly propose a HiErarchical Regional Bias evaluation method (HERB)
utilising the information from the sub-region clusters to quantify the bias in
pre-trained LMs. Experiments show that our hierarchical metric can effectively
evaluate the regional bias with respect to comprehensive topics and measure the
potential regional bias that can be propagated to downstream tasks. Our codes
are available at https://github.com/Bernard-Yang/HERB.
- Abstract(参考訳): フェアネスは、ジェンダーや宗教など特定の社会グループをターゲットにしたバイアスに対処する自然言語処理(NLP)のトレンドとなっている。
しかし、長年の国際的差別問題である言語モデル(LM)の地域バイアスはまだ未解明のままである。
本稿では,NLPタスクで広く使用されている事前学習言語モデルから得られた地域バイアスを分析し,そのギャップを埋める。
lmsにおける地域バイアスの存在の検証に加えて,地域集団の偏りは,地域集団の地理的クラスタリングの影響を強く受け得ることを見出した。
そこで本研究では,事前学習したlmsのバイアスを定量化するために,サブリージョンクラスタからの情報を活用した階層的地域バイアス評価手法(herb)を提案する。
実験の結果, 階層的メトリクスは, 包括的トピックに対する地域バイアスを効果的に評価し, 下流タスクに伝達できる潜在的な地域バイアスを計測できることがわかった。
私たちのコードはhttps://github.com/bernard-yang/herbで利用可能です。
関連論文リスト
- Large Language Models are Geographically Biased [51.37609528538606]
我々は、地理のレンズを通して、我々の住む世界について、Large Language Models (LLM)が何を知っているかを研究する。
我々は,地理空間予測において,システム的誤りと定義する,様々な問題的地理的バイアスを示す。
論文 参考訳(メタデータ) (2024-02-05T02:32:09Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z) - ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。
我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。
3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
論文 参考訳(メタデータ) (2023-11-29T23:03:04Z) - Evaluating Gender Bias of Pre-trained Language Models in Natural
Language Inference by Considering All Labels [42.89031347094013]
複数の言語を対象とした事前学習言語モデル(PLM)では、差別的な性バイアスが発見されている。
本稿では,自然言語推論タスクの3つのラベルをすべて考慮した PLM のバイアス評価手法を提案する。
日本語と中国語のNLIから評価データセットを作成し,PLMのバイアスを測定する。
論文 参考訳(メタデータ) (2023-09-18T12:02:21Z) - Geographic and Geopolitical Biases of Language Models [43.62238334380897]
プレトレーニング言語モデル(PLM)における地理的バイアス(と知識)の研究手法を提案する。
以上の結果から, PLMの表現は, 国・国・国間の関連性の観点から, 物理的世界と驚くほどよく一致していることが示唆された。
最後に, 地理的近接性の概念を呈するにもかかわらず, PLMがいかに大きいかを説明する。
論文 参考訳(メタデータ) (2022-12-20T16:32:54Z) - Balancing Biases and Preserving Privacy on Balanced Faces in the Wild [50.915684171879036]
現在の顔認識(FR)モデルには、人口統計バイアスが存在する。
さまざまな民族と性別のサブグループにまたがる偏見を測定するために、我々のバランス・フェイススをWildデータセットに導入します。
真偽と偽のサンプルペアを区別するために1点のスコアしきい値に依存すると、最適以下の結果が得られます。
本稿では,最先端ニューラルネットワークから抽出した顔特徴を用いたドメイン適応学習手法を提案する。
論文 参考訳(メタデータ) (2021-03-16T15:05:49Z) - LOGAN: Local Group Bias Detection by Clustering [86.38331353310114]
コーパスレベルでバイアスを評価することは、モデルにバイアスがどのように埋め込まれているかを理解するのに十分ではない、と我々は主張する。
クラスタリングに基づく新しいバイアス検出手法であるLOGANを提案する。
毒性分類および対象分類タスクの実験は、LOGANが局所領域のバイアスを特定することを示している。
論文 参考訳(メタデータ) (2020-10-06T16:42:51Z) - Towards Controllable Biases in Language Generation [87.89632038677912]
本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。
1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
論文 参考訳(メタデータ) (2020-05-01T08:25:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。