論文の概要: Collapsed Language Models Promote Fairness

• arxiv url: http://arxiv.org/abs/2410.04472v2
• Date: Tue, 8 Oct 2024 13:03:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 07:16:09.653360
• Title: Collapsed Language Models Promote Fairness
• Title（参考訳）: 崩壊した言語モデルが公平性を促進する
• Authors: Jingxuan Xu, Wuyang Chen, Linyi Li, Yao Zhao, Yunchao Wei,
• Abstract要約: 偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
• 参考スコア（独自算出の注目度）: 88.48232731113306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To mitigate societal biases implicitly encoded in recent successful pretrained language models, a diverse array of approaches have been proposed to encourage model fairness, focusing on prompting, data augmentation, regularized fine-tuning, and more. Despite the development, it is nontrivial to reach a principled understanding of fairness and an effective algorithm that can consistently debias language models. In this work, by rigorous evaluations of Neural Collapse -- a learning phenomenon happen in last-layer representations and classifiers in deep networks -- on fairness-related words, we find that debiased language models exhibit collapsed alignment between token representations and word embeddings. More importantly, this observation inspires us to design a principled fine-tuning method that can effectively improve fairness in a wide range of debiasing methods, while still preserving the performance of language models on standard natural language understanding tasks. We attach our code at https://github.com/Xujxyang/Fairness-NC-main.
• Abstract（参考訳）: 最近成功した言語モデルで暗黙的に符号化された社会的バイアスを軽減するために、モデルフェアネスを奨励し、プロンプト、データ拡張、正規化された微調整などに焦点を当てる様々なアプローチが提案されている。 開発にもかかわらず、公平さの原理的な理解と、言語モデルを常にデバイアスできる効果的なアルゴリズムに到達するのは簡単ではない。 本研究では,ニューラルネットワークにおける最終層表現と深層ネットワークの分類器で発生する学習現象であるニューラル・コラプスの厳密な評価により,不規則な言語モデルがトークン表現と単語埋め込みの間に崩壊したアライメントを示すことがわかった。 より重要なことは、この観察によって、標準自然言語理解タスクにおける言語モデルの性能を保ちながら、幅広いデバイアス法における公平性を効果的に向上する、原則化された微調整法を設計するきっかけとなったことである。 コードをhttps://github.com/Xujxyang/Fairness-NC-mainにアタッチします。

関連論文リスト

• Relation-based Counterfactual Data Augmentation and Contrastive Learning for Robustifying Natural Language Inference Models [0.0]
  本稿では,トークンベースおよび文ベースの拡張手法を用いて,対実文ペアを生成する手法を提案する。 提案手法は,NLIモデルの性能とロバスト性を向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-10-28T03:43:25Z)
• SpeechAlign: Aligning Speech Generation to Human Preferences [51.684183257809075]
  本稿では,言語モデルと人間の嗜好を一致させる反復的自己改善戦略であるSpeechAlignを紹介する。 我々は、SpeechAlignが分散ギャップを埋め、言語モデルの継続的自己改善を促進することができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T15:21:17Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Enhancing Context Through Contrast [0.4068270792140993]
  本稿では,ニューラルマシン翻訳の性能向上のための新しいコンテキスト拡張ステップを提案する。 他のアプローチとは異なり、明示的にデータを拡張するのではなく、言語を暗黙的な拡張と見なす。 本手法は, 組込みをゼロから学習せず, 事前学習した組込みに一般化することができる。
  論文  参考訳（メタデータ） (2024-01-06T22:13:51Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Shattering the Agent-Environment Interface for Fine-Tuning Inclusive Language Models [24.107358120517336]
  本研究では、事前学習された言語モデルが、それ自体がポリシー、報酬関数、遷移関数である、という新しい視点を採用する。 即ち、報酬学習と言語モデルの微調整は、さらに下流のポリシー最適化を必要とせずに、共同で直接行うことができる。
  論文  参考訳（メタデータ） (2023-05-19T06:21:15Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。