論文の概要: Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias

• arxiv url: http://arxiv.org/abs/2204.10365v1
• Date: Thu, 21 Apr 2022 18:51:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 02:34:57.876006
• Title: Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias
• Title（参考訳）: 事前学習型ニューラルネットワークモデルにおけるバイアスの理解の高度化に向けて:Affective Biasに着目した調査
• Authors: Anoop K., Manjary P. Gangan, Deepak P., Lajish V. L
• Abstract要約: 本稿では,大規模な事前学習言語モデルにおけるバイアスの理解,それらの発生ステージの分析,およびこれらのバイアスを定量化し緩和する様々な方法を提案する。 ビジネス,医療,教育などの実世界のシステムにおいて,テキストによる情緒的コンピューティングに基づく下流作業の幅広い適用性を考慮すると,感情(感情)の文脈における偏見(感情)、すなわち感情的バイアス(Affective Bias)の探究に特に重点を置いている。 本稿では,将来の研究を支援する各種バイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。
• 参考スコア（独自算出の注目度）: 2.6304695993930594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The remarkable progress in Natural Language Processing (NLP) brought about by deep learning, particularly with the recent advent of large pre-trained neural language models, is brought into scrutiny as several studies began to discuss and report potential biases in NLP applications. Bias in NLP is found to originate from latent historical biases encoded by humans into textual data which gets perpetuated or even amplified by NLP algorithm. We present a survey to comprehend bias in large pre-trained language models, analyze the stages at which they occur in these models, and various ways in which these biases could be quantified and mitigated. Considering wide applicability of textual affective computing based downstream tasks in real-world systems such as business, healthcare, education, etc., we give a special emphasis on investigating bias in the context of affect (emotion) i.e., Affective Bias, in large pre-trained language models. We present a summary of various bias evaluation corpora that help to aid future research and discuss challenges in the research on bias in pre-trained language models. We believe that our attempt to draw a comprehensive view of bias in pre-trained language models, and especially the exploration of affective bias will be highly beneficial to researchers interested in this evolving field.
• Abstract（参考訳）: ディープラーニングによる自然言語処理(NLP)の顕著な進歩、特に最近の大規模事前学習型ニューラルネットワークモデルの出現は、いくつかの研究がNLPアプリケーションにおける潜在的なバイアスを議論し報告し始めたため、精査の対象となった。 NLPのバイアスは、人間によって符号化された潜在的バイアスが、NLPアルゴリズムによって永続的または増幅されるテキストデータに現れることに由来する。 本研究では,事前学習された大規模言語モデルにおけるバイアスを理解するための調査を行い,そのバイアスを定量化・緩和する様々な方法について述べる。 ビジネス、ヘルスケア、教育などの現実世界のシステムにおける、テキストベースの下流タスクの幅広い適用性を考慮して、大きな事前学習された言語モデルにおいて、影響(感情)の文脈におけるバイアス、すなわち感情バイアス(emotion)について、特に焦点を当てる。 本稿では,将来の研究を支援する様々なバイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。 我々は、事前訓練された言語モデルにおける偏見の包括的見解、特に感情的偏見の探索が、この発展分野に関心を持つ研究者にとって非常に有益であると考えている。

関連論文リスト

• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models [78.69526166193236]
  プレトレーニング言語モデル(PLM)は、社会的バイアスのような有害な情報を含むことが認識されている。 我々は,社会バイアスなどの望ましくない行動に起因する言語モデルにおいて,正確に単位(すなわちニューロン)を特定するために,sc Social Bias Neuronsを提案する。 StereoSetの以前の測定値からわかるように、我々のモデルは、低コストで言語モデリング能力を維持しながら、より高い公平性を達成する。
  論文  参考訳（メタデータ） (2024-06-14T15:41:06Z)
• Mitigating Biases for Instruction-following Language Models via Bias Neurons Elimination [54.865941973768905]
  本稿では,命令追従設定における言語モデルのバイアスニューロンを除去するための,新しい実用的なバイアス緩和手法であるCRISPRを提案する。 CRISPRは自動的にバイアス出力を決定し、バイアス出力に影響を与えるニューロンを説明可能性法を用いてバイアスニューロンに分類する。 実験により,モデルのタスク性能と既存知識を損なうことなく,ゼロショット命令追従条件下でのバイアス軽減効果が示された。
  論文  参考訳（メタデータ） (2023-11-16T07:16:55Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Blacks is to Anger as Whites is to Joy? Understanding Latent Affective Bias in Large Pre-trained Neural Language Models [3.5278693565908137]
  感情バイアス(Affective Bias)とは、特定の性別、人種、宗教に対する感情の関連性である。 PLMに基づく感情検出システムに統計的に有意な感情バイアスが存在することを示す。
  論文  参考訳（メタデータ） (2023-01-21T20:23:09Z)
• An Analysis of Social Biases Present in BERT Variants Across Multiple Languages [0.0]
  多様な言語からなる単言語BERTモデルにおけるバイアスについて検討する。 文の擬似類似度に基づいて,任意のバイアスを測定するテンプレートベースの手法を提案する。 偏見探索の現在の手法は言語に依存していると結論付けている。
  論文  参考訳（メタデータ） (2022-11-25T23:38:08Z)
• Bias at a Second Glance: A Deep Dive into Bias for German Educational Peer-Review Data Modeling [10.080007569933331]
  我々は5年間で9,165人のドイツのピアレビューのコーパスで、テキストと複数のアーキテクチャ間のバイアスを分析します。 収集したコーパスは, 共起解析やGloVe埋め込みにおいて多くのバイアスを示さない。 事前訓練されたドイツの言語モデルは、実質的な概念的、人種的、性別的偏見を見出す。
  論文  参考訳（メタデータ） (2022-09-21T13:08:16Z)
• A Survey on Bias and Fairness in Natural Language Processing [1.713291434132985]
  我々は、バイアスの起源、公平性の定義、NLPバイアスのサブフィールドの違いを緩和する方法について分析する。 我々は,NLPアルゴリズムによる悪質な偏見の根絶に向けた今後の研究について論じる。
  論文  参考訳（メタデータ） (2022-03-06T18:12:30Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)
• Impact of Gender Debiased Word Embeddings in Language Modeling [0.0]
  性別、人種、社会的バイアスは、自然言語処理の適用における不公平の明白な例として検出されている。 近年の研究では、トレーニングで使用される人為的なデータが偏見を生じさせる要因であることが示されている。 現在のアルゴリズムは、データからのバイアスを増幅することも証明されている。
  論文  参考訳（メタデータ） (2021-05-03T14:45:10Z)
• Towards Controllable Biases in Language Generation [87.89632038677912]
  本研究では、特定の人口集団の言及を含む入力プロンプトによって生成されたテキストの社会的バイアスを誘導する手法を開発した。 1 つの人口統計学において負のバイアスを誘発し、もう1 つの人口統計学において正のバイアスを誘導し、2 つのシナリオを分析する。
  論文  参考訳（メタデータ） (2020-05-01T08:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。