論文の概要: Debiasing Pre-trained Contextualised Embeddings

• arxiv url: http://arxiv.org/abs/2101.09523v1
• Date: Sat, 23 Jan 2021 15:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-20 12:21:34.090357
• Title: Debiasing Pre-trained Contextualised Embeddings
• Title（参考訳）: debiasing pre-trained contextized embeddeds
• Authors: Masahiro Kaneko and Danushka Bollegala
• Abstract要約: 本稿では,事前学習された文脈的埋め込みに対してトークンレベルや文レベルで適用可能な微調整手法を提案する。 性別バイアスを図示例として,複数の最新(SoTA)文脈表現を用いた体系的研究を行った。 すべてのトークンとコンテキスト化された埋め込みモデルのすべてのレイヤにトークンレベルのデバイアスを適用すると、最高のパフォーマンスが得られます。
• 参考スコア（独自算出の注目度）: 28.378270372391498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In comparison to the numerous debiasing methods proposed for the static non-contextualised word embeddings, the discriminative biases in contextualised embeddings have received relatively little attention. We propose a fine-tuning method that can be applied at token- or sentence-levels to debias pre-trained contextualised embeddings. Our proposed method can be applied to any pre-trained contextualised embedding model, without requiring to retrain those models. Using gender bias as an illustrative example, we then conduct a systematic study using several state-of-the-art (SoTA) contextualised representations on multiple benchmark datasets to evaluate the level of biases encoded in different contextualised embeddings before and after debiasing using the proposed method. We find that applying token-level debiasing for all tokens and across all layers of a contextualised embedding model produces the best performance. Interestingly, we observe that there is a trade-off between creating an accurate vs. unbiased contextualised embedding model, and different contextualised embedding models respond differently to this trade-off.
• Abstract（参考訳）: 静的な非コンテクチュアルな単語埋め込みに対して提案された多くのデバイアス法と比較して、文脈的埋め込みにおける識別バイアスは比較的ほとんど注目されていない。 本稿では,事前学習された文脈的埋め込みに対してトークンレベルや文レベルで適用可能な微調整手法を提案する。 提案手法は,事前学習した文脈埋め込みモデルに対して,それらのモデルを再学習することなく適用することができる。 ジェンダーバイアスを例示として,複数のベンチマークデータセット上でsof(state-of-the-art)コンテクスト化表現を用いた体系的な研究を行い,提案手法を用いたデバイアスの前後における異なるコンテクスト化埋め込みで符号化されるバイアスのレベルを評価する。 すべてのトークンとコンテキスト化された埋め込みモデルのすべてのレイヤにトークンレベルのデバイアスを適用すると、最高のパフォーマンスが得られます。 興味深いことに、正確なコンテキスト型埋め込みモデルの作成と、異なるコンテキスト型埋め込みモデルの作成の間にはトレードオフがある。

関連論文リスト

• Ensembling Finetuned Language Models for Text Classification [55.15643209328513]
  ファインタニング(英: Finetuning)は、特定のタスクに事前訓練されたモデルを適用するために、様々なコミュニティで一般的なプラクティスである。 ニューラルネットワークのアンサンブルは、通常、パフォーマンスを高め、信頼性の高い不確実性推定を提供するために使用される。 6つのデータセット上の5つの大きめのモデルから予測されたメタデータセットを提示し、異なるアンサンブル戦略の結果を報告する。
  論文  参考訳（メタデータ） (2024-10-25T09:15:54Z)
• CosFairNet:A Parameter-Space based Approach for Bias Free Learning [1.9116784879310025]
  バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。 本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。 各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
  論文  参考訳（メタデータ） (2024-10-19T13:06:40Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Learning with Complementary Labels Revisited: The Selected-Completely-at-Random Setting Is More Practical [66.57396042747706]
  補完ラベル学習は、弱教師付き学習問題である。 均一分布仮定に依存しない一貫したアプローチを提案する。 相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
  論文  参考訳（メタデータ） (2023-11-27T02:59:17Z)
• Fair Enough: Standardizing Evaluation and Model Selection for Fairness Research in NLP [64.45845091719002]
  現代のNLPシステムは様々なバイアスを示しており、モデル偏見に関する文献が増えている。 本稿では,その現状を解明し,公正学習における意味ある進歩の道筋を立案することを目的とする。
  論文  参考訳（メタデータ） (2023-02-11T14:54:00Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• BiasBed -- Rigorous Texture Bias Evaluation [21.55506905780658]
  テクスチャとスタイルバイアスのトレーニングのためのテストベッドであるBiasBedを紹介した。 厳密な仮説テストが伴い、結果の意義を測る。 例えば、文献で提案されているいくつかのアルゴリズムは、スタイルバイアスの影響を著しく緩和しない。
  論文  参考訳（メタデータ） (2022-11-23T18:22:59Z)
• Mind Your Bias: A Critical Review of Bias Detection Methods for Contextual Language Models [2.170169149901781]
  文脈言語モデルに対する厳密な分析とバイアス検出手法の比較を行う。 私たちの結果は、マイナーな設計と実装の決定(またはエラー)が、導出バイアススコアに大きく、しばしば重大な影響を与えていることを示している。
  論文  参考訳（メタデータ） (2022-11-15T19:27:54Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Learning Debiased Models with Dynamic Gradient Alignment and Bias-conflicting Sample Mining [39.00256193731365]
  ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。 難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2021-11-25T14:50:10Z)
• Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
  自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。 既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。 本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T23:40:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。