論文の概要: Evaluation of Social Biases in Recent Large Pre-Trained Models

• arxiv url: http://arxiv.org/abs/2304.06861v1
• Date: Thu, 13 Apr 2023 23:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 15:01:42.171225
• Title: Evaluation of Social Biases in Recent Large Pre-Trained Models
• Title（参考訳）: 最近の大規模事前学習モデルにおける社会的バイアスの評価
• Authors: Swapnil Sharma, Nikita Anand, Kranthi Kiran G.V., Alind Jain
• Abstract要約: 我々は、より新しい事前学習モデルがリリースされるにつれて、バイアス低減の一般的な傾向について研究する。 最近の3つのモデル(ELECTRA、DeBERTa、DistilBERT)が選択され、StereoSetとCrowS-Pairsの2つのバイアスベンチマークに対して評価される。 進歩が進行し、より新しく、より速く、より軽量なモデルがリリースされるかどうかを調査する。
• 参考スコア（独自算出の注目度）: 1.5749416770494706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large pre-trained language models are widely used in the community. These models are usually trained on unmoderated and unfiltered data from open sources like the Internet. Due to this, biases that we see in platforms online which are a reflection of those in society are in turn captured and learned by these models. These models are deployed in applications that affect millions of people and their inherent biases are harmful to the targeted social groups. In this work, we study the general trend in bias reduction as newer pre-trained models are released. Three recent models ( ELECTRA, DeBERTa, and DistilBERT) are chosen and evaluated against two bias benchmarks, StereoSet and CrowS-Pairs. They are compared to the baseline of BERT using the associated metrics. We explore whether as advancements are made and newer, faster, lighter models are released: are they being developed responsibly such that their inherent social biases have been reduced compared to their older counterparts? The results are compiled and we find that all the models under study do exhibit biases but have generally improved as compared to BERT.
• Abstract（参考訳）: 大規模な事前訓練された言語モデルはコミュニティで広く使われている。 これらのモデルは、通常、インターネットのようなオープンソースからの非モデレーションおよび非フィルタリングデータに基づいて訓練される。 このため、オンラインのプラットフォームで見られる偏見は、社会の傾向を反映し、これらのモデルによって獲得され、学習される。 これらのモデルは何百万人もの人々に影響を及ぼすアプリケーションにデプロイされ、その固有のバイアスはターゲットとする社会グループに有害である。 本研究では,新しい事前学習モデルがリリースされ,バイアス低減の一般的な傾向について検討する。 最近の3つのモデル(ELECTRA、DeBERTa、DistilBERT)が選択され、StereoSetとCrowS-Pairsの2つのバイアスベンチマークに対して評価される。 これらは、関連するメトリクスを使用してBERTのベースラインと比較される。 進歩が進むにつれて、より速く、より軽量なモデルがリリースされるのかを探求する。彼らは、古いモデルと比べて社会的バイアスが減少するように、責任を持って開発されているのか? その結果,すべてのモデルが偏りを示すが,BERTと比較して概して改善されていることがわかった。

関連論文リスト

• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Understanding the Interplay of Scale, Data, and Bias in Language Models: A Case Study with BERT [4.807994469764776]
  モデルスケールと事前学習データが学習した社会バイアスに与える影響について検討する。 実験の結果,事前学習したデータは,モデルスケールで上流バイアスがどのように進化するかに大きな影響を及ぼすことがわかった。 データとモデルスケールの複雑な相互作用に光を当て、それが具体的なバイアスにどのように変換されるかを調査しました。
  論文  参考訳（メタデータ） (2024-07-25T23:09:33Z)
• Quantifying Bias in Text-to-Image Generative Models [49.60774626839712]
  テキスト・トゥ・イメージ(T2I)モデルにおけるバイアスは不公平な社会的表現を伝播させ、アイデアを積極的にマーケティングしたり、議論の的となっている議題を推進したりするのに用いられる。 既存のT2Iモデルバイアス評価手法は、社会的バイアスのみに焦点を当てる。 本稿では,T2I生成モデルにおける一般バイアスの定量化手法を提案する。
  論文  参考訳（メタデータ） (2023-12-20T14:26:54Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• A Multidimensional Analysis of Social Biases in Vision Transformers [15.98510071115958]
  視覚変換器(ViTs)の社会的バイアスに対するトレーニングデータ、モデルアーキテクチャ、トレーニング目標の影響を計測する。 以上の結果から,拡散画像編集による反ファクト改善訓練はバイアスを軽減することができるが,除去はできないことが示唆された。 より大規模なモデルは、より小さなモデルよりもバイアスが少ないこと、そして識別目的を用いて訓練されたモデルは、生成目的を用いて訓練されたモデルよりもバイアスが少ないことを発見した。
  論文  参考訳（メタデータ） (2023-08-03T09:03:40Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Language Models Get a Gender Makeover: Mitigating Gender Bias with Few-Shot Data Interventions [50.67412723291881]
  事前訓練された大きな言語モデルに存在する社会的バイアスが重要な問題である。 我々は,事前学習モデルにおける性別バイアスを低減するために,データ介入戦略を強力かつ簡単な手法として提案する。
  論文  参考訳（メタデータ） (2023-06-07T16:50:03Z)
• Exposing Bias in Online Communities through Large-Scale Language Models [3.04585143845864]
  この研究は、言語モデルにおけるバイアスの欠陥を使用して、6つの異なるオンラインコミュニティのバイアスを調査します。 得られたモデルのバイアスは、異なる人口層を持つモデルに促し、これらの世代における感情と毒性の値を比較することで評価される。 この作業は、トレーニングデータからバイアスがどの程度容易に吸収されるかを確認するだけでなく、さまざまなデータセットやコミュニティのバイアスを特定し比較するためのスケーラブルな方法も提示する。
  論文  参考訳（メタデータ） (2023-06-04T08:09:26Z)
• Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
  データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。 異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。 このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
  論文  参考訳（メタデータ） (2023-03-30T17:30:42Z)
• Variation of Gender Biases in Visual Recognition Models Before and After Finetuning [29.55318393877906]
  本稿では,下流タスクにおける大規模視覚認識モデルの微調整前後のバイアスの変化を計測するフレームワークを提案する。 ImageNet-21kのようなデータセットでトレーニングされた教師付きモデルは、事前学習されたバイアスを保持する傾向にある。 また、大規模データセットに微調整されたモデルでは、新しいバイアス付きアソシエーションを導入する可能性が高くなることもわかりました。
  論文  参考訳（メタデータ） (2023-03-14T03:42:47Z)
• Roses Are Red, Violets Are Blue... but Should Vqa Expect Them To? [0.0]
  ドメイン内精度を総合的に測定する標準評価基準は誤解を招くものであると論じる。 これらの問題を克服するためのGQA-OODベンチマークを提案する。
  論文  参考訳（メタデータ） (2020-06-09T08:50:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。