論文の概要: FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders

• arxiv url: http://arxiv.org/abs/2103.06413v1
• Date: Thu, 11 Mar 2021 02:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-12 14:57:35.239293
• Title: FairFil: Contrastive Neural Debiasing Method for Pretrained Text Encoders
• Title（参考訳）: fairfil:事前学習されたテキストエンコーダのコントラストニューラルデバイアス法
• Authors: Pengyu Cheng, Weituo Hao, Siyang Yuan, Shijing Si, Lawrence Carin
• Abstract要約: 本稿では,プリトレーニングされたエンコーダ出力をフェアフィルタネットワークを介してデバイアス表現に変換する,プリトレーニング文エンコーダの最初のニューラルデバイアス手法を提案する。 実世界のデータセットでは、fairfilは学習済みテキストエンコーダのバイアスを効果的に低減し、下流タスクで望ましいパフォーマンスを継続的に示します。
• 参考スコア（独自算出の注目度）: 68.8687509471322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained text encoders, such as BERT, have been applied increasingly in various natural language processing (NLP) tasks, and have recently demonstrated significant performance gains. However, recent studies have demonstrated the existence of social bias in these pretrained NLP models. Although prior works have made progress on word-level debiasing, improved sentence-level fairness of pretrained encoders still lacks exploration. In this paper, we proposed the first neural debiasing method for a pretrained sentence encoder, which transforms the pretrained encoder outputs into debiased representations via a fair filter (FairFil) network. To learn the FairFil, we introduce a contrastive learning framework that not only minimizes the correlation between filtered embeddings and bias words but also preserves rich semantic information of the original sentences. On real-world datasets, our FairFil effectively reduces the bias degree of pretrained text encoders, while continuously showing desirable performance on downstream tasks. Moreover, our post-hoc method does not require any retraining of the text encoders, further enlarging FairFil's application space.
• Abstract（参考訳）: BERTのような事前訓練されたテキストエンコーダは、様々な自然言語処理(NLP)タスクにますます適用され、最近は顕著なパフォーマンス向上を示している。 しかし、近年の研究では、これらの訓練済みNLPモデルにおける社会的バイアスの存在が実証されている。 先行研究は単語レベルのデバイアス化を進展させたが、事前訓練されたエンコーダの文レベルの公平性の改善はいまだに探索を欠いている。 本稿では,プリトレーニングされたエンコーダ出力をfairfil(fairfil)ネットワークを介してデバイアス表現に変換する,プリトレーニング文エンコーダの最初のニューラルデバイアス手法を提案する。 FairFilを学習するために、フィルタ埋め込みとバイアスワードの相関を最小化するだけでなく、原文の豊富な意味情報を保存するコントラスト学習フレームワークを導入する。 実世界のデータセットでは、fairfilは学習済みテキストエンコーダのバイアスを効果的に低減し、下流タスクで望ましいパフォーマンスを継続的に示します。 さらに,本手法ではテキストエンコーダの再トレーニングを必要とせず,FairFilのアプリケーション空間を拡大する。

関連論文リスト

• Initialization Matters: Unraveling the Impact of Pre-Training on Federated Learning [21.440470901377182]
  事前訓練されたモデルの初期化は、機械学習の標準的なプラクティスになりつつある。 我々は,2層畳み込みニューラルネットワーク(CNN)のクラスについて検討し,FedAvgでトレーニングしたネットワークのトレーニングエラー収束とテストエラーのバウンダリを提供する。
  論文  参考訳（メタデータ） (2025-02-11T23:53:16Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Enhancing Diffusion Models with Text-Encoder Reinforcement Learning [63.41513909279474]
  テキストから画像への拡散モデルは通常、ログのような目的を最適化するために訓練される。 近年の研究では、強化学習や直接バックプロパゲーションを通じて人間の報酬を用いて拡散U-Netを精製することでこの問題に対処している。 我々は、強化学習によってテキストエンコーダを微調整することにより、結果のテキストイメージアライメントを強化することができることを示した。
  論文  参考訳（メタデータ） (2023-11-27T09:39:45Z)
• A Simple yet Effective Self-Debiasing Framework for Transformer Models [49.09053367249642]
  現在のTransformerベースの自然言語理解(NLU)モデルは、データセットバイアスに大きく依存している。 本稿では,トランスフォーマーベースNLUモデルのための簡易かつ効果的な自己退化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-02T20:31:58Z)
• FETA: Fairness Enforced Verifying, Training, and Predicting Algorithms for Neural Networks [9.967054059014691]
  ニューラルネットワークモデルの個々の公正性を検証し、トレーニングし、保証する問題について検討する。 フェアネスを強制する一般的なアプローチは、フェアネスの概念をモデルのパラメータに関する制約に変換することである。 本研究では,予測時の公正性制約を確実に実施するための逆例誘導後処理手法を開発した。
  論文  参考訳（メタデータ） (2022-06-01T15:06:11Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations [4.36561468436181]
  教師なしテキスト表現のためのDeCLUTR: Deep Contrastive Learningを提案する。 本手法は,ユニバーサル文エンコーダにおける教師なしと教師なしの事前学習のパフォーマンスギャップを埋めるものである。 私たちのコードと事前訓練されたモデルは公開されており、新しいドメインに簡単に適応したり、目に見えないテキストを埋め込むのに使えます。
  論文  参考訳（メタデータ） (2020-06-05T20:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。