論文の概要: Robust Evaluation Measures for Evaluating Social Biases in Masked Language Models

• arxiv url: http://arxiv.org/abs/2401.11601v1
• Date: Sun, 21 Jan 2024 21:21:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 15:44:44.914142
• Title: Robust Evaluation Measures for Evaluating Social Biases in Masked Language Models
• Title（参考訳）: マスキング言語モデルにおける社会的バイアス評価のためのロバスト評価手法
• Authors: Yang Liu
• Abstract要約: ステレオタイプおよびアンチステレオタイプスコアの分布評価尺度を構築した。 提案手法は, これまでに提案した手法よりもはるかに頑健で解釈可能である。
• 参考スコア（独自算出の注目度）: 6.697298321551588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many evaluation measures are used to evaluate social biases in masked language models (MLMs). However, we find that these previously proposed evaluation measures are lacking robustness in scenarios with limited datasets. This is because these measures are obtained by comparing the pseudo-log-likelihood (PLL) scores of the stereotypical and anti-stereotypical samples using an indicator function. The disadvantage is the limited mining of the PLL score sets without capturing its distributional information. In this paper, we represent a PLL score set as a Gaussian distribution and use Kullback Leibler (KL) divergence and Jensen Shannon (JS) divergence to construct evaluation measures for the distributions of stereotypical and anti-stereotypical PLL scores. Experimental results on the publicly available datasets StereoSet (SS) and CrowS-Pairs (CP) show that our proposed measures are significantly more robust and interpretable than those proposed previously.
• Abstract（参考訳）: マスキング言語モデル(MLM)における社会的バイアスを評価するために多くの評価尺度が用いられる。 しかし,これらの評価手法は,限られたデータセットを持つシナリオでは堅牢性に欠けることがわかった。 これは、指標関数を用いてステレオタイプおよびアンチステレオタイプ標本の擬似log-likelihood(PLL)スコアを比較して得られるためである。 欠点は、分布情報を取得せずにPLLスコアセットを限定的にマイニングすることである。 本稿では, PLL スコアをガウス分布として表現し, Kullback Leibler (KL) の発散と Jensen Shannon (JS) の発散を用いて, ステレオタイプおよび反ステレオタイプな PLL スコアの分布の評価尺度を構築する。 StereoSet (SS) と CrowS-Pairs (CP) の公開データセットに対する実験結果から,提案手法は従来よりはるかに堅牢で解釈可能であることが示された。

関連論文リスト

• The Mismeasure of Man and Models: Evaluating Allocational Harms in Large Language Models [22.75594773147521]
  大規模言語モデル(LLM)におけるバイアスから生じる潜在的アロケーション障害を評価するモデル非依存バイアス指標であるランクアロケーションベースバイアス指標(RABBI)を導入する。 その結果, 平均性能差と分布距離に基づく偏差測定では, 割り当て結果の集団差を確実に把握できないことがわかった。 私たちの研究は、限られたリソース制約のあるコンテキストでモデルがどのように使用されるかを説明する必要性を強調しています。
  論文  参考訳（メタデータ） (2024-08-02T14:13:06Z)
• Covariate Assisted Entity Ranking with Sparse Intrinsic Scores [3.2839905453386162]
  我々は,新しいモデル同定条件を導入し,正規化された最大推定値の統計率について検討する。 また,本手法を潜在固有スコアを持たないモデルに対する適合性テストに適用する。
  論文  参考訳（メタデータ） (2024-07-09T19:58:54Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Constructing Holistic Measures for Social Biases in Masked Language Models [17.45153670825904]
  Masked Language Models (MLM)は多くの自然言語処理タスクで成功している。 現実世界のステレオタイプバイアスは、大きなテキストコーパスから学んだことから、インスパイアされる可能性が高い。 Kullback Leiblergence Score (KLDivS) とJensen Shannon Divergence Score (JSDivS) の2つの評価指標を提案し,社会バイアスの評価を行った。
  論文  参考訳（メタデータ） (2023-05-12T23:09:06Z)
• A Tale of Sampling and Estimation in Discounted Reinforcement Learning [50.43256303670011]
  割引平均推定問題に対して最小値の最小値を求める。 マルコフ過程の割引されたカーネルから直接サンプリングすることで平均を推定すると、説得力のある統計的性質が得られることを示す。
  論文  参考訳（メタデータ） (2023-04-11T09:13:17Z)
• Rethinking Collaborative Metric Learning: Toward an Efficient Alternative without Negative Sampling [156.7248383178991]
  コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。 負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。 そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-23T08:50:22Z)
• StaDRe and StaDRo: Reliability and Robustness Estimation of ML-based Forecasting using Statistical Distance Measures [0.476203519165013]
  本研究は,時系列データに対するSafeMLの利用,および統計的距離測定を用いたML予測手法の信頼性とロバスト性評価に焦点をあてる。 本稿では,SDDに基づく信頼性評価(StaDRe)とSDDに基づくロバストネス(StaDRo)の尺度を提案する。 クラスタリング手法の助けを借りて、トレーニング中に見られるデータの統計的特性と予測との類似性を同定する。
  論文  参考訳（メタデータ） (2022-06-17T19:52:48Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• A Statistical Analysis of Summarization Evaluation Metrics using Resampling Methods [60.04142561088524]
  信頼区間は比較的広く,信頼性の高い自動測定値の信頼性に高い不確実性を示す。 多くのメトリクスはROUGEよりも統計的改善を示していないが、QAEvalとBERTScoreという2つの最近の研究は、いくつかの評価設定で行われている。
  論文  参考訳（メタデータ） (2021-03-31T18:28:14Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。