論文の概要: Trustworthy Social Bias Measurement

• arxiv url: http://arxiv.org/abs/2212.11672v1
• Date: Tue, 20 Dec 2022 18:45:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 14:26:09.862109
• Title: Trustworthy Social Bias Measurement
• Title（参考訳）: 信頼できる社会バイアス測定
• Authors: Rishi Bommasani, Percy Liang
• Abstract要約: 本研究では,測定モデリングの学際的理論に基づいて,信頼を保証できるバイアス尺度を設計する。 我々は5つの具体的なバイアス測定をインスタンス化するために、一般的なバイアス測定フレームワークであるDivDistを提案して、その定義を運用する。 我々は,従来の尺度に存在した概念的,技術的,実証的欠陥を克服し,我々の措置を信頼するかなりの証拠を実証する。
• 参考スコア（独自算出の注目度）: 92.87080873893618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do we design measures of social bias that we trust? While prior work has introduced several measures, no measure has gained widespread trust: instead, mounting evidence argues we should distrust these measures. In this work, we design bias measures that warrant trust based on the cross-disciplinary theory of measurement modeling. To combat the frequently fuzzy treatment of social bias in NLP, we explicitly define social bias, grounded in principles drawn from social science research. We operationalize our definition by proposing a general bias measurement framework DivDist, which we use to instantiate 5 concrete bias measures. To validate our measures, we propose a rigorous testing protocol with 8 testing criteria (e.g. predictive validity: do measures predict biases in US employment?). Through our testing, we demonstrate considerable evidence to trust our measures, showing they overcome conceptual, technical, and empirical deficiencies present in prior measures.
• Abstract（参考訳）: 信頼する社会的偏見の尺度をどのように設計するか。 先行研究はいくつかの措置を導入したが、広く信頼される手段は得られていない。 本研究では,計測モデリングの学際的理論に基づく信頼を保障するバイアス尺度を設計する。 NLPにおける社会的偏見のファジィな扱いに対処するため,社会科学研究の原則に基づく社会的偏見を明確に定義する。 5つの具体的なバイアス測度をインスタンス化する一般的なバイアス測定フレームワークdivdistを提案して、定義を運用する。 本手法を検証するため,8つの試験基準(例えば,予測妥当性:米国の雇用の偏りを予測するか?)を有する厳密な試験プロトコルを提案する。 実験の結果,先行尺度における概念的,技術的,経験的欠陥を克服し,我々の尺度を信頼するかなりの証拠が得られた。

関連論文リスト

• Performative Prediction on Games and Mechanism Design [69.7933059664256]
  エージェントが過去の正確性に基づいて予測を信頼するかを判断する集団リスクジレンマについて検討する。 予測が集合的な結果を形成するにつれて、社会福祉は関心の指標として自然に現れる。 よりよいトレードオフを実現し、それらをメカニズム設計に使用する方法を示します。
  論文  参考訳（メタデータ） (2024-08-09T16:03:44Z)
• A Principled Approach for a New Bias Measure [7.352247786388098]
  偏差値の全範囲で明確かつ簡単な解釈を行う最初のバイアス尺度であるUniform Bias (UB) の定義を提案する。 この結果は,9つの公開データセットを用いて実験的に検証され,理論的に解析され,新たな知見が得られた。 当社のアプローチに基づいて、政策立案者にとって有用なバイアス緩和モデルも設計しています。
  論文  参考訳（メタデータ） (2024-05-20T18:14:33Z)
• The Tail Wagging the Dog: Dataset Construction Biases of Social Bias Benchmarks [75.58692290694452]
  社会的偏見と、データセット構築時に選択された選択から生じる非社会的偏見を比較し、人間の目では識別できないかもしれない。 これらの浅い修正は、様々なモデルにまたがるバイアスの程度に驚くべき影響を及ぼす。
  論文  参考訳（メタデータ） (2022-10-18T17:58:39Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Evaluating Metrics for Bias in Word Embeddings [44.14639209617701]
  我々は、過去の研究の考えに基づいてバイアス定義を定式化し、バイアスメトリクスの条件を導出する。 そこで我々は,既存のメトリクスの欠点に対処する新しい計量であるhetを提案し,その振る舞いを数学的に証明する。
  論文  参考訳（メタデータ） (2021-11-15T16:07:15Z)
• Assessing the Reliability of Word Embedding Gender Bias Measures [4.258396452892244]
  我々は,単語埋め込み性バイアス尺度の3種類の信頼性,すなわち,テスト-再テストの信頼性,相互整合性,内部整合性を評価する。 以上の結果から,単語埋め込み性バイアス尺度のより良い設計が示唆された。
  論文  参考訳（メタデータ） (2021-09-10T08:23:50Z)
• What do Bias Measures Measure? [41.36968251743058]
  自然言語処理モデルは、性別、人種、国籍などの保護された属性に関する社会的偏見を伝播させる。 介入を作成し、これらのバイアスと関連する害を緩和するためには、そのようなバイアスを検出して測定することが不可欠である。 本研究は、NLPタスク、メトリクス、データセット、社会的バイアスおよびそれに対応する害の関数として、NLPの既存のバイアス尺度に関する包括的調査を示す。
  論文  参考訳（メタデータ） (2021-08-07T04:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。