論文の概要: Undesirable biases in NLP: Averting a crisis of measurement

• arxiv url: http://arxiv.org/abs/2211.13709v1
• Date: Thu, 24 Nov 2022 16:53:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 14:39:30.448386
• Title: Undesirable biases in NLP: Averting a crisis of measurement
• Title（参考訳）: nlpにおける望ましくないバイアス:測定の危機を回避する
• Authors: Oskar van der Wal, Dominik Bachmann, Alina Leidinger, Leendert van Maanen, Willem Zuidema, Katrin Schulz
• Abstract要約: 我々は,NLPモデルバイアスの問題を心理測定のレンズを用いて議論するための学際的アプローチを提案する。 我々は、心理学的語彙と方法論を採用することで、NLPバイアス研究をより効率的かつ透明にすることができると論じる。
• 参考スコア（独自算出の注目度）: 0.34253416336476245
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Natural Language Processing (NLP) technology rapidly develops and spreads into daily life, it becomes crucial to anticipate how its use could harm people. However, our ways of assessing the biases of NLP models have not kept up. While especially the detection of English gender bias in such models has enjoyed increasing research attention, many of the measures face serious problems, as it is often unclear what they actually measure and how much they are subject to measurement error. In this paper, we provide an interdisciplinary approach to discussing the issue of NLP model bias by adopting the lens of psychometrics -- a field specialized in the measurement of concepts like bias that are not directly observable. We pair an introduction of relevant psychometric concepts with a discussion of how they could be used to evaluate and improve bias measures. We also argue that adopting psychometric vocabulary and methodology can make NLP bias research more efficient and transparent.
• Abstract（参考訳）: 自然言語処理(NLP)技術が急速に発展し、日常生活に広まるにつれ、その利用が人々にどのように害をもたらすかを予測することが重要となる。 しかし,NLPモデルのバイアス評価の方法は維持されていない。 特に、このようなモデルにおける英語の性別バイアスの検出は、研究の注目を集めている一方で、実際の測定値や測定誤差の程度が不明確であることが多いため、多くの指標が深刻な問題に直面している。 本稿では,NLPモデルバイアスの問題を,直接観測できないバイアスのような概念の測定に特化している心理測定のレンズを用いて議論するための学際的アプローチを提案する。 我々は,関連する心理計測概念の導入と,バイアス尺度の評価と改善の方法についての議論を組み合わせる。 また、心理学的語彙と方法論を採用することで、NLPバイアス研究をより効率的かつ透明にすることができると論じる。

関連論文リスト

• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
  本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。 まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。 次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
  論文  参考訳（メタデータ） (2023-09-02T00:32:55Z)
• This Prompt is Measuring <MASK>: Evaluating Bias Evaluation in Language Models [12.214260053244871]
  言語モデルのバイアスを評価するためにプロンプトとテンプレートを使用する作業の本体を分析します。 我々は、バイアステストが測定する目的を捉える属性の分類を作成するために、測定モデリングフレームワークを設計する。 我々の分析は、フィールドが測定できる可能性のあるバイアスタイプの範囲を照らし、まだ調査されていないタイプを明らかにします。
  論文  参考訳（メタデータ） (2023-05-22T06:28:48Z)
• Fair Enough: Standardizing Evaluation and Model Selection for Fairness Research in NLP [64.45845091719002]
  現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。 本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
  論文  参考訳（メタデータ） (2023-02-11T14:54:00Z)
• A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing [68.37496795076203]
  非バランスなデータを扱うNLP研究者や実践者に対してガイダンスを提供する。 まず、制御および実世界のクラス不均衡の様々なタイプについて論じる。 サンプリング,データ拡張,損失関数の選択,ステージ学習,モデル設計に基づく手法を整理する。
  論文  参考訳（メタデータ） (2022-10-10T13:26:40Z)
• Towards an Enhanced Understanding of Bias in Pre-trained Neural Language Models: A Survey with Special Emphasis on Affective Bias [2.6304695993930594]
  本稿では,大規模な事前学習言語モデルにおけるバイアスの理解,それらの発生ステージの分析,およびこれらのバイアスを定量化し緩和する様々な方法を提案する。 ビジネス,医療,教育などの実世界のシステムにおいて,テキストによる情緒的コンピューティングに基づく下流作業の幅広い適用性を考慮すると,感情(感情)の文脈における偏見(感情)、すなわち感情的バイアス(Affective Bias)の探究に特に重点を置いている。 本稿では,将来の研究を支援する各種バイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。
  論文  参考訳（メタデータ） (2022-04-21T18:51:19Z)
• A Survey on Bias and Fairness in Natural Language Processing [1.713291434132985]
  我々は、バイアスの起源、公平性の定義、NLPバイアスのサブフィールドの違いを緩和する方法について分析する。 我々は,NLPアルゴリズムによる悪質な偏見の根絶に向けた今後の研究について論じる。
  論文  参考訳（メタデータ） (2022-03-06T18:12:30Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• What do Bias Measures Measure? [41.36968251743058]
  自然言語処理モデルは、性別、人種、国籍などの保護された属性に関する社会的偏見を伝播させる。 介入を作成し、これらのバイアスと関連する害を緩和するためには、そのようなバイアスを検出して測定することが不可欠である。 本研究は、NLPタスク、メトリクス、データセット、社会的バイアスおよびそれに対応する害の関数として、NLPの既存のバイアス尺度に関する包括的調査を示す。
  論文  参考訳（メタデータ） (2021-08-07T04:08:47Z)
• Towards Understanding and Mitigating Social Biases in Language Models [107.82654101403264]
  大規模事前訓練言語モデル(LM)は、望ましくない表現バイアスを示すのに潜在的に危険である。 テキスト生成における社会的バイアスを軽減するためのステップを提案する。 我々の経験的結果と人的評価は、重要な文脈情報を保持しながらバイアスを緩和する効果を示す。
  論文  参考訳（メタデータ） (2021-06-24T17:52:43Z)
• Intrinsic Bias Metrics Do Not Correlate with Application Bias [12.588713044749179]
  本研究は, 測定容易な内在的指標が実世界の外在的指標とよく相関するかどうかを検討する。 異なるタスクと実験条件をカバーする数百のトレーニングモデルに対して,内在バイアスと外部バイアスの両方を測定した。 埋め込みスペースのデビア化の取り組みは、常に下流モデルバイアスの測定とペアリングされることを推奨し、追加のチャレンジセットと注釈付きテストデータの作成を通じて下流測定をより実現可能にするためのコミュニティの努力を高めることを提案します。
  論文  参考訳（メタデータ） (2020-12-31T18:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。