論文の概要: Fair and Argumentative Language Modeling for Computational Argumentation
- arxiv url: http://arxiv.org/abs/2204.04026v1
- Date: Fri, 8 Apr 2022 12:23:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-11 15:55:02.089680
- Title: Fair and Argumentative Language Modeling for Computational Argumentation
- Title(参考訳): 計算的議論のための公平かつ議論的な言語モデリング
- Authors: Carolin Holtermann, Anne Lauscher, Simone Paolo Ponzetto
- Abstract要約: 議論に適したバイアス測定のための新しいリソースであるABBAを紹介する。
変圧器を用いた言語モデルにおいて,議論的微調整と偏りが本質的バイアスに与える影響を評価する。
議論品質予測における言語モデルの偏りが性能に与える影響を解析する。
- 参考スコア(独自算出の注目度): 21.819447617228644
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Although much work in NLP has focused on measuring and mitigating
stereotypical bias in semantic spaces, research addressing bias in
computational argumentation is still in its infancy. In this paper, we address
this research gap and conduct a thorough investigation of bias in argumentative
language models. To this end, we introduce ABBA, a novel resource for bias
measurement specifically tailored to argumentation. We employ our resource to
assess the effect of argumentative fine-tuning and debiasing on the intrinsic
bias found in transformer-based language models using a lightweight
adapter-based approach that is more sustainable and parameter-efficient than
full fine-tuning. Finally, we analyze the potential impact of language model
debiasing on the performance in argument quality prediction, a downstream task
of computational argumentation. Our results show that we are able to
successfully and sustainably remove bias in general and argumentative language
models while preserving (and sometimes improving) model performance in
downstream tasks. We make all experimental code and data available at
https://github.com/umanlp/FairArgumentativeLM.
- Abstract(参考訳): NLPにおける多くの研究は意味空間におけるステレオタイプバイアスの測定と緩和に重点を置いているが、計算議論におけるバイアスに対処する研究はまだ初期段階にある。
本稿では,この研究ギャップに対処し,議論型言語モデルにおける偏見を徹底的に調査する。
この目的のために,議論に適したバイアス測定のための新しいリソースであるABBAを紹介する。
提案手法では,提案手法がトランスフォーマーベース言語モデルにおける固有バイアスに与える影響を,完全微調整よりも持続的かつパラメータ効率の高い軽量アダプタベースアプローチを用いて評価する。
最後に,言語モデルのデバイアスが,計算的議論の下流課題である議論品質予測の性能に与える影響について分析する。
その結果,ダウンストリームタスクにおけるモデル性能を維持しつつ,一般的な言語モデルや議論的な言語モデルのバイアスを,成功かつ持続的に除去できることがわかった。
実験的なコードとデータは、https://github.com/umanlp/FairArgumentativeLMで公開しています。
関連論文リスト
- From Prejudice to Parity: A New Approach to Debiasing Large Language
Model Word Embeddings [3.1072741962374875]
DeepSoftDebiasは、ニューラルネットワークを使って'ソフトデバイアス'を実行するアルゴリズム
我々は、このアルゴリズムを様々なSOTAデータセット、精度メトリクス、難解なNLPタスクで徹底的に評価する。
DeepSoftDebiasは、性別、人種、宗教の偏見を減らし、最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2024-02-18T08:53:41Z) - Feature-Level Debiased Natural Language Understanding [86.8751772146264]
既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。
本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。
DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2022-12-11T06:16:14Z) - Gender Biases and Where to Find Them: Exploring Gender Bias in
Pre-Trained Transformer-based Language Models Using Movement Pruning [32.62430731115707]
本稿では,移動プルーニングによるトランスフォーマーベース言語モデルのバイアス検査のための新しい枠組みを示す。
モデルを微調整しながらデバイアスの対象にすることで、私たちのフレームワークを実装します。
モデルのパフォーマンスが向上すればするほど、バイアスが増します。
論文 参考訳(メタデータ) (2022-07-06T06:20:35Z) - Towards an Enhanced Understanding of Bias in Pre-trained Neural Language
Models: A Survey with Special Emphasis on Affective Bias [2.6304695993930594]
本稿では,大規模な事前学習言語モデルにおけるバイアスの理解,それらの発生ステージの分析,およびこれらのバイアスを定量化し緩和する様々な方法を提案する。
ビジネス,医療,教育などの実世界のシステムにおいて,テキストによる情緒的コンピューティングに基づく下流作業の幅広い適用性を考慮すると,感情(感情)の文脈における偏見(感情)、すなわち感情的バイアス(Affective Bias)の探究に特に重点を置いている。
本稿では,将来の研究を支援する各種バイアス評価コーパスの概要と,事前学習言語モデルにおけるバイアス研究の課題について述べる。
論文 参考訳(メタデータ) (2022-04-21T18:51:19Z) - Automatically Identifying Semantic Bias in Crowdsourced Natural Language
Inference Datasets [78.6856732729301]
NLIデータセットに仮説を組み込んだ学習空間に"バイアスクラスタ"を見つけるために,モデル駆動で教師なしの手法を導入する。
データセットの仮説分布のセマンティックバイアスを改善するために、介入と追加のラベリングを行うことができる。
論文 参考訳(メタデータ) (2021-12-16T22:49:01Z) - Balancing out Bias: Achieving Fairness Through Training Reweighting [58.201275105195485]
自然言語処理におけるバイアスは、性別や人種などの著者の特徴を学習するモデルから生じる。
既存のバイアスの緩和と測定方法は、著者の人口統計学と言語変数の相関を直接考慮していない。
本稿では,インスタンス再重み付けを用いたバイアス対策法を提案する。
論文 参考訳(メタデータ) (2021-09-16T23:40:28Z) - RedditBias: A Real-World Resource for Bias Evaluation and Debiasing of
Conversational Language Models [37.98671828283487]
テキスト表現モデルは、様々な社会的バイアスを示す傾向がある。
最近の研究は、事前訓練された言語モデルにおけるバイアスの測定と緩和に重点を置いている。
RedditBiasは、Redditによる人間の会話をベースとした初めての会話データセットだ。
論文 参考訳(メタデータ) (2021-06-07T11:22:39Z) - Improving Robustness by Augmenting Training Sentences with
Predicate-Argument Structures [62.562760228942054]
データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。
本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。
特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
論文 参考訳(メタデータ) (2020-10-23T16:22:05Z) - Towards Robustifying NLI Models Against Lexical Dataset Biases [94.79704960296108]
本稿では、語彙的データセットバイアスに対するモデル強化のための、データレベルとモデルレベルのデバイアス法の両方について検討する。
まず、データ拡張と拡張によってデータセットをデバイアスするが、この方法でモデルバイアスを完全に除去することはできないことを示す。
第2のアプローチでは、バーオブワードのサブモデルを使用して、バイアスを悪用する可能性のある機能をキャプチャし、元のモデルがこれらのバイアス付き機能を学ぶのを防ぐ。
論文 参考訳(メタデータ) (2020-05-10T17:56:10Z) - Showing Your Work Doesn't Always Work [73.63200097493576]
『Show Your Work: Improved Reporting of Experimental Results』では、最高の学習モデルの有効性を報告している。
解析的にそれらの推定器は偏りがあり、エラーを起こしやすい仮定を用いていることを示す。
我々は、偏見のない代替案を導き、統計的シミュレーションから経験的な証拠で主張を裏付ける。
論文 参考訳(メタデータ) (2020-04-28T17:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。