論文の概要: FineDeb: A Debiasing Framework for Language Models

• arxiv url: http://arxiv.org/abs/2302.02453v1
• Date: Sun, 5 Feb 2023 18:35:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-07 18:18:37.558951
• Title: FineDeb: A Debiasing Framework for Language Models
• Title（参考訳）: FineDeb: 言語モデルのためのデバイアスフレームワーク
• Authors: Akash Saravanan, Dhruv Mullick, Habibur Rahman, Nidhi Hegde
• Abstract要約: 言語モデルのための2相脱バイアスフレームワークであるFineDebを提案する。 以上の結果から,FinDebは他の方法と比較してデバイアスが強いことが示唆された。 我々のフレームワークは、複数のクラスを持つ人口層に対して一般化可能である。
• 参考スコア（独自算出の注目度）: 3.7698299781999376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As language models are increasingly included in human-facing machine learning tools, bias against demographic subgroups has gained attention. We propose FineDeb, a two-phase debiasing framework for language models that starts with contextual debiasing of embeddings learned by pretrained language models. The model is then fine-tuned on a language modeling objective. Our results show that FineDeb offers stronger debiasing in comparison to other methods which often result in models as biased as the original language model. Our framework is generalizable for demographics with multiple classes, and we demonstrate its effectiveness through extensive experiments and comparisons with state of the art techniques. We release our code and data on GitHub.
• Abstract（参考訳）: 言語モデルが人間向け機械学習ツールにますます取り入れられている中、人口統計群に対する偏見が注目されている。 事前学習した言語モデルから学習した埋め込みの文脈的デバイアスから始まる言語モデルのための2相デバイアスフレームワークであるFineDebを提案する。 そして、モデルが言語モデリングの目的に基づいて微調整される。 以上の結果から,FinDebは従来の言語モデルと同等のバイアスを伴うモデルを生成する他の手法と比較して,よりデバイアスが強いことが示唆された。 本フレームワークは,複数のクラスを持つ人口層に対して一般化可能であり,その有効性は,幅広い実験と最先端技術との比較を通じて実証する。 コードとデータはGitHubで公開しています。

関連論文リスト

• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Revisiting Topic-Guided Language Models [20.21486464604549]
  4つのトピック誘導言語モデルと2つのベースラインについて検討し、4つのコーパス上で各モデルの保留予測性能を評価する。 これらの手法はいずれも標準のLSTM言語モデルのベースラインを上回りません。
  論文  参考訳（メタデータ） (2023-12-04T20:33:24Z)
• FairPy: A Toolkit for Evaluation of Social Biases and their Mitigation in Large Language Models [7.250074804839615]
  大規模な事前訓練された言語モデルは、人種、性別等に基づく社会集団に対する偏見を示すことが研究で示されている。 様々な研究者がこれらのバイアスを定量化し識別するための数学的ツールを提案している。 本稿では,人種,性別,民族,年齢など,さまざまなバイアスの包括的定量的評価を行う。
  論文  参考訳（メタデータ） (2023-02-10T20:54:10Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。