論文の概要: An Empirical Study of Metrics to Measure Representational Harms in Pre-Trained Language Models

• arxiv url: http://arxiv.org/abs/2301.09211v1
• Date: Sun, 22 Jan 2023 21:47:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 14:28:04.054468
• Title: An Empirical Study of Metrics to Measure Representational Harms in Pre-Trained Language Models
• Title（参考訳）: 事前学習言語モデルにおける表現的ハームの測定基準に関する実証的研究
• Authors: Saghar Hosseini and Hamid Palangi and Ahmed Hassan Awadallah
• Abstract要約: 事前訓練された言語モデル(PTLM)は、潜在社会的バイアスと有毒な内容を持つ巨大な人文データから知識を抽出する。 そこで本研究では,PTLMにおける暗黙的な表現的害を13の人口層に対して定量化するための新しい指標を提案する。 我々の分析は、本研究における提案された指標と他の関連する指標との相関関係に関する洞察を与える。
• 参考スコア（独自算出の注目度）: 39.84261983590683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale Pre-Trained Language Models (PTLMs) capture knowledge from massive human-written data which contains latent societal biases and toxic contents. In this paper, we leverage the primary task of PTLMs, i.e., language modeling, and propose a new metric to quantify manifested implicit representational harms in PTLMs towards 13 marginalized demographics. Using this metric, we conducted an empirical analysis of 24 widely used PTLMs. Our analysis provides insights into the correlation between the proposed metric in this work and other related metrics for representational harm. We observe that our metric correlates with most of the gender-specific metrics in the literature. Through extensive experiments, we explore the connections between PTLMs architectures and representational harms across two dimensions: depth and width of the networks. We found that prioritizing depth over width, mitigates representational harms in some PTLMs. Our code and data can be found at https://github.com/microsoft/SafeNLP.
• Abstract（参考訳）: 大規模事前学習言語モデル(PTLM)は、潜在社会的バイアスと有害な内容を含む膨大な人文データから知識を抽出する。 本稿では,PTLMの基本課題である言語モデリングを活用し,PTLMにおける暗黙的表現的害の定量化のための新しい指標を提案する。 この測定値を用いて,24種類のptlmの実証分析を行った。 我々の分析は、本研究における提案された指標と他の関連する指標との相関関係に関する洞察を与える。 我々の測定基準は、文献の男女別指標のほとんどと相関していることを観察した。 広範な実験を通じて、ptlmsアーキテクチャとネットワークの深さと幅の2次元にわたる表現的危害の関係を探索する。 いくつかのPTLMでは,幅よりも深度を優先し,表現障害を軽減することが判明した。 コードとデータはhttps://github.com/microsoft/SafeNLPで確認できます。

関連論文リスト

• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• ACES: Translation Accuracy Challenge Sets for Evaluating Machine Translation Metrics [2.48769664485308]
  機械翻訳(MT)メトリクスは、毎年人間の判断との相関を改善している。 MTにおける精度誤差に直面する際の計量挙動について検討することが重要である。 我々は、単語/文字レベルでの単純な摂動から、談話や実世界の知識に基づくより複雑なエラーまで、68の現象からなる翻訳精度挑戦セットであるACESをキュレートする。
  論文  参考訳（メタデータ） (2022-10-27T16:59:02Z)
• BERTScore is Unfair: On Social Bias in Language Model-Based Metrics for Text Generation [89.41378346080603]
  この研究は、PLMに基づくメトリクスにおける社会バイアスに関する最初の体系的研究である。 PLMをベースとした一般的な指標は,従来の6つの属性の指標よりも社会的偏見が著しく高いことが実証された。 さらに, PLM層に注入される脱バイアスアダプタを開発し, テキスト生成の評価に高い性能を維持しながら, PLMベースのメトリクスのバイアスを軽減する。
  論文  参考訳（メタデータ） (2022-10-14T08:24:11Z)
• Detecting Adversarial Examples in Batches -- a geometrical approach [0.0]
  本稿では,2つの幾何学的測度,密度とカバレッジを導入し,不明瞭なデータのバッチにおける対数サンプルの検出におけるそれらの使用性を評価する。 MNISTとMedMNISTの2つの実世界のバイオメディカルデータセットを用いて、これらの指標を実証的に研究し、2つの異なる敵攻撃を受けた。 本実験は,両指標が敵対例を検出するための有望な結果を示す。
  論文  参考訳（メタデータ） (2022-06-17T12:52:43Z)
• LaMDA: Language Models for Dialog Applications [75.75051929981933]
  LaMDAは、ダイアログに特化したトランスフォーマーベースのニューラルネットワークモデルのファミリーである。 注釈付きデータで微調整し、モデルが外部の知識ソースを参照できるようにすると、大幅な改善がもたらされる。
  論文  参考訳（メタデータ） (2022-01-20T15:44:37Z)
• InfoLM: A New Metric to Evaluate Summarization & Data2Text Generation [27.129551973093008]
  InfoLMは、文字列ベースのメトリクスとして見ることのできる、トレーニングされていないメトリクスのファミリーです。 このメトリクスの族は、InfoLMを様々な評価基準に適応させる情報測度も活用している。
  論文  参考訳（メタデータ） (2021-12-02T20:09:29Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Multidimensional scaling and linguistic theory [0.10152838128195464]
  本稿では,多次元スケーリング(MDS)技術の言語研究における意味地図作成への応用について述べる。 MDSは、オブジェクトを空間内の点として表現する統計的手法であり、オブジェクト間の近接類似性は、表現内の対応するポイント間の近接距離に対応する。
  論文  参考訳（メタデータ） (2020-12-09T10:02:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。