論文の概要: Trustworthy Social Bias Measurement

• arxiv url: http://arxiv.org/abs/2212.11672v1
• Date: Tue, 20 Dec 2022 18:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 14:26:09.862109
• Title: Trustworthy Social Bias Measurement
• Title（参考訳）: 信頼できる社会バイアス測定
• Authors: Rishi Bommasani, Percy Liang
• Abstract要約: 本研究では,測定モデリングの学際的理論に基づいて,信頼を保証できるバイアス尺度を設計する。 我々は5つの具体的なバイアス測定をインスタンス化するために、一般的なバイアス測定フレームワークであるDivDistを提案して、その定義を運用する。 我々は,従来の尺度に存在した概念的,技術的,実証的欠陥を克服し,我々の措置を信頼するかなりの証拠を実証する。
• 参考スコア（独自算出の注目度）: 92.87080873893618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do we design measures of social bias that we trust? While prior work has introduced several measures, no measure has gained widespread trust: instead, mounting evidence argues we should distrust these measures. In this work, we design bias measures that warrant trust based on the cross-disciplinary theory of measurement modeling. To combat the frequently fuzzy treatment of social bias in NLP, we explicitly define social bias, grounded in principles drawn from social science research. We operationalize our definition by proposing a general bias measurement framework DivDist, which we use to instantiate 5 concrete bias measures. To validate our measures, we propose a rigorous testing protocol with 8 testing criteria (e.g. predictive validity: do measures predict biases in US employment?). Through our testing, we demonstrate considerable evidence to trust our measures, showing they overcome conceptual, technical, and empirical deficiencies present in prior measures.
• Abstract（参考訳）: 信頼する社会的偏見の尺度をどのように設計するか。 先行研究はいくつかの措置を導入したが、広く信頼される手段は得られていない。 本研究では,計測モデリングの学際的理論に基づく信頼を保障するバイアス尺度を設計する。 NLPにおける社会的偏見のファジィな扱いに対処するため,社会科学研究の原則に基づく社会的偏見を明確に定義する。 5つの具体的なバイアス測度をインスタンス化する一般的なバイアス測定フレームワークdivdistを提案して、定義を運用する。 本手法を検証するため,8つの試験基準(例えば,予測妥当性:米国の雇用の偏りを予測するか?)を有する厳密な試験プロトコルを提案する。 実験の結果,先行尺度における概念的,技術的,経験的欠陥を克服し,我々の尺度を信頼するかなりの証拠が得られた。

関連論文リスト

• Reconciling Predictive and Statistical Parity: A Causal Approach [68.59381759875734]
  本稿では,予測パリティに付随する公平度対策のための因果分解式を提案する。 統計的および予測パリティの概念は、実際には互いに排他的ではなく、相補的であり、公正の概念のスペクトルにまたがっていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:23:22Z)
• Testing Occupational Gender Bias in Language Models: Towards Robust Measurement and Zero-Shot Debiasing [98.07536837448293]
  大規模言語モデル(LLM)は、様々な人口層に対して有害で人間らしいバイアスを示すことが示されている。 生成言語モデルにおけるバイアスを頑健に測定するためのdesiderataのリストを紹介する。 次に、このベンチマークを使用して、Llama、Mistral、およびそれらの命令チューニングバージョンを含む、最先端のオープンソースLLMをテストします。
  論文  参考訳（メタデータ） (2022-12-20T22:41:24Z)
• Undesirable Biases in NLP: Addressing Challenges of Measurement [1.7126708168238125]
  我々は,NLPモデルバイアスの問題を心理測定のレンズを用いて議論するための学際的アプローチを提案する。 本研究は, 心理測定, 構成妥当性, 測定ツールの信頼性の2つの中心的な概念について考察する。 我々の目標は、NLP実践者により良いバイアス対策を設計するための方法論ツールを提供することです。
  論文  参考訳（メタデータ） (2022-11-24T16:53:18Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• Debiasing isn't enough! -- On the Effectiveness of Debiasing MLMs and their Social Biases in Downstream Tasks [33.044775876807826]
  仮面言語モデル(MLM)におけるタスク非依存とタスク固有の社会的偏見評価の内在的関係について検討する。 この2つの評価尺度の間には弱い相関しか存在しないことが判明した。
  論文  参考訳（メタデータ） (2022-10-06T14:08:57Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Evaluating Metrics for Bias in Word Embeddings [64.55554083622258]
  我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。 そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
  論文  参考訳（メタデータ） (2021-11-15T16:07:15Z)
• Assessing the Reliability of Word Embedding Gender Bias Measures [4.258396452892244]
  我々は,単語埋め込み性バイアス尺度の3種類の信頼性,すなわち,テスト-再テストの信頼性,相互整合性,内部整合性を評価する。 以上の結果から,単語埋め込み性バイアス尺度のより良い設計が示唆された。
  論文  参考訳（メタデータ） (2021-09-10T08:23:50Z)
• What do Bias Measures Measure? [41.36968251743058]
  自然言語処理モデルは、性別、人種、国籍などの保護された属性に関する社会的偏見を伝播させる。 介入を作成し、これらのバイアスと関連する害を緩和するためには、そのようなバイアスを検出して測定することが不可欠である。 本研究は、NLPタスク、メトリクス、データセット、社会的バイアスおよびそれに対応する害の関数として、NLPの既存のバイアス尺度に関する包括的調査を示す。
  論文  参考訳（メタデータ） (2021-08-07T04:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。