論文の概要: Co$^2$PT: Mitigating Bias in Pre-trained Language Models through Counterfactual Contrastive Prompt Tuning

• arxiv url: http://arxiv.org/abs/2310.12490v1
• Date: Thu, 19 Oct 2023 05:49:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 16:48:14.395612
• Title: Co$^2$PT: Mitigating Bias in Pre-trained Language Models through Counterfactual Contrastive Prompt Tuning
• Title（参考訳）: co$^2$pt:反事実的コントラスト的プロンプトチューニングによる事前学習言語モデルのバイアス軽減
• Authors: Xiangjue Dong, Ziwei Zhu, Zhuoer Wang, Maria Teleki, James Caverlee
• Abstract要約: Co$2$PTは、バイアスを緩和するための効率的かつ効果的なデバイアス時プロンプトチューニング手法である。 提案実験は,2$PTがインシデントチューニング過程におけるバイアス緩和に及ぼす影響を実証するものである。 これらの結果は,Co$2$PTの強度を示し,下流タスクにおけるバイアス軽減のさらなる促進に期待できる道を提供する。
• 参考スコア（独自算出の注目度）: 16.374216684967237
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Pre-trained Language Models are widely used in many important real-world applications. However, recent studies show that these models can encode social biases from large pre-training corpora and even amplify biases in downstream applications. To address this challenge, we propose Co$^2$PT, an efficient and effective debias-while-prompt tuning method for mitigating biases via counterfactual contrastive prompt tuning on downstream tasks. Our experiments conducted on three extrinsic bias benchmarks demonstrate the effectiveness of Co$^2$PT on bias mitigation during the prompt tuning process and its adaptability to existing upstream debiased language models. These findings indicate the strength of Co$^2$PT and provide promising avenues for further enhancement in bias mitigation on downstream tasks.
• Abstract（参考訳）: 事前訓練された言語モデルは、多くの重要な現実世界のアプリケーションで広く使われている。 しかし、最近の研究では、これらのモデルが大規模な事前学習コーパスからの社会的バイアスを符号化し、下流アプリケーションにおけるバイアスを増幅することができることが示されている。 この課題に対処するために、下流タスクにおける反実的コントラッシブ・プロンプトによるバイアス軽減のための効率的かつ効果的なデバイアス時プロンプトチューニング法であるCo$^2$PTを提案する。 実験は3つの外部バイアス・ベンチマークで行われ、Co$^2$PTがインシデントチューニング過程におけるバイアス軽減効果と既存の上流デバイアス言語モデルへの適応性を示した。 これらの結果は,Co$^2$PTの強度を示し,下流タスクにおけるバイアス軽減のさらなる促進に期待できる道を提供する。

関連論文リスト

• Reasoning Beyond Bias: A Study on Counterfactual Prompting and Chain of Thought Reasoning [0.0]
  回答の選択肢によって学習された規則性の違いは、モデルの好みを予測し、人間のテストテイク戦略を反映していることが示される。 我々は2つの新しい方法を紹介した: 思考の連鎖(CoT)と素素数CoT(Agnostically Primed CoT)による反実的プロンプト(APriCoT)である。 以上の結果から,予測バイアスの緩和には「システム-2」のようなプロセスが必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-16T10:34:50Z)
• Projective Methods for Mitigating Gender Bias in Pre-trained Language Models [10.418595661963062]
  プロジェクティブメソッドは実装が高速で、少数の保存されたパラメータを使用し、既存のモデルパラメータを更新しない。 射影法は内在バイアスと下流バイアス軽減の両方に有効であるが, 両者の結果は必ずしも相関しない。
  論文  参考訳（メタデータ） (2024-03-27T17:49:31Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• An Empirical Analysis of Parameter-Efficient Methods for Debiasing Pre-Trained Language Models [55.14405248920852]
  各種言語モデルとバイアスタイプを用いたプレフィックスチューニング,プロンプトチューニング,アダプタチューニングによる実験を行い,その性能評価を行った。 パラメータ効率のよい手法は、適応調整が常に最も効果的であるジェンダーバイアスを軽減するのに有効であることがわかった。 また、早急なチューニングは、BERTよりもGPT-2に適しており、人種的・宗教的偏見に関しては、人種的・宗教的偏見が低いことが判明した。
  論文  参考訳（メタデータ） (2023-06-06T23:56:18Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• ADEPT: A DEbiasing PrompT Framework [49.582497203415855]
  ファインタニングは文脈化された単語の埋め込みを曖昧にするための応用手法である。 意味的な意味を持つ個別のプロンプトは、タスクを乱すのに有効であることが示されている。 本稿では, PLM をデバイアス化する方法であるADEPT を提案し, バイアス除去と表現能力の確保の微妙なバランスを維持しながら, 即時チューニングによる PLM のデバイアス化手法を提案する。
  論文  参考訳（メタデータ） (2022-11-10T08:41:40Z)
• An Empirical Survey of the Effectiveness of Debiasing Techniques for Pre-Trained Language Models [4.937002982255573]
  最近の研究によると、事前学習された言語モデルは、訓練されたテキストコーパスから社会的偏見を捉えている。 最近提案された5つのデバイアス技術: 対実データ拡張、ドロップアウト、イテレーティブヌルスペース投影、セルフデバイアス、センテンスデバイアス。 3つの異なるバイアスベンチマークを用いて各手法の有効性を定量化するとともに,これらの手法がモデル言語モデリング能力に与える影響を計測する。
  論文  参考訳（メタデータ） (2021-10-16T09:40:30Z)
• Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures [62.562760228942054]
  データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。 本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。 特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
  論文  参考訳（メタデータ） (2020-10-23T16:22:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。