論文の概要: Hi, my name is Martha: Using names to measure and mitigate bias in
generative dialogue models
- arxiv url: http://arxiv.org/abs/2109.03300v1
- Date: Tue, 7 Sep 2021 19:20:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-09 13:52:27.552482
- Title: Hi, my name is Martha: Using names to measure and mitigate bias in
generative dialogue models
- Title(参考訳): こんにちは、私の名はMartha: 生成的対話モデルにおけるバイアスの測定と緩和に名前を使う
- Authors: Eric Michael Smith, Adina Williams
- Abstract要約: 不均衡な性別と人種/民族の参照を含む実際の人間の会話で訓練されることは、学習されたバイアスを表示するモデルにつながる可能性がある。
本研究では,これらの対話モデル,特に名前のスクランブル,制御された生成,および不規則な訓練をチューニングする方法が,会話のバイアスを軽減するのに有効であることを示す。
- 参考スコア(独自算出の注目度): 14.624075519580405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: All AI models are susceptible to learning biases in data that they are
trained on. For generative dialogue models, being trained on real human
conversations containing unbalanced gender and race/ethnicity references can
lead to models that display learned biases, which we define here broadly as any
measurable differences in the distributions of words or semantic content of
conversations based on demographic groups. We measure the strength of such
biases by producing artificial conversations between two copies of a dialogue
model, conditioning one conversational partner to state a name commonly
associated with a certain gender and/or race/ethnicity. We find that larger
capacity models tend to exhibit more gender bias and greater stereotyping of
occupations by gender. We show that several methods of tuning these dialogue
models, specifically name scrambling, controlled generation, and unlikelihood
training, are effective in reducing bias in conversation, including on a
downstream conversational task. Name scrambling is also effective in lowering
differences in token usage across conversations where partners have names
associated with different genders or races/ethnicities.
- Abstract(参考訳): すべてのaiモデルは、トレーニング対象のデータバイアスの学習に影響を受けやすい。
生成的対話モデルでは、不均衡な性別と人種/民族の参照を含む実際の人間の会話を訓練することにより、学習バイアスを表示するモデルが導かれる可能性がある。
対話モデルの2つのコピー間で人工的な会話を生成し、ある会話パートナーに特定の性別および/または人種/民族性に共通する名前を述べるように条件づけることで、バイアスの強さを測定する。
より大きな能力モデルでは、ジェンダーバイアスが増加し、職業のステレオタイプが増加しがちである。
本稿では,これらの対話モデル,特に名前のスクランブル,制御された生成,およびそれと異なり,下流の会話タスクを含む会話のバイアスを軽減するために有効であることを示す。
名前のスクランブルは、パートナーが異なる性別や人種/民族に関連付けられた名前を持つ会話におけるトークンの使用方法の違いを減らすのにも有効である。
関連論文リスト
- UnMASKed: Quantifying Gender Biases in Masked Language Models through
Linguistically Informed Job Market Prompts [0.0]
この研究は、マスキング言語モデル(MLM)に存在する固有のバイアスを掘り下げる。
本研究では, BERT, RoBERTa, DistilBERT, BERT-multilingual, XLM-RoBERTa, DistilBERT-multilingualの6つのモデルについて検討した。
この分析により、すべてのモデルのステレオタイプ的な性別アライメントが明らかとなり、多言語変異は相対的にバイアスを減少させる。
論文 参考訳(メタデータ) (2024-01-28T23:00:40Z) - Pre-trained Speech Processing Models Contain Human-Like Biases that
Propagate to Speech Emotion Recognition [4.4212441764241]
本研究では,多くの音声タスクに使用される1種類のモデルのバイアスを検出する手法であるSpeech Embedding Association Test(SpEAT)を提案する。
SpEATを用いて、16の英語音声モデルにおいて6種類のバイアスをテストした。
私たちの研究は、テキストや画像ベースのモデルのように、事前訓練された音声ベースのモデルは、しばしば人間のようなバイアスを学習する、という証拠を提供します。
論文 参考訳(メタデータ) (2023-10-29T02:27:56Z) - How To Build Competitive Multi-gender Speech Translation Models For
Controlling Speaker Gender Translation [21.125217707038356]
発音性言語から文法性言語に翻訳する場合、生成された翻訳は、話者を参照する者を含む様々な単語に対して、明確なジェンダー代入を必要とする。
このような偏見や包括的行動を避けるために、話者の性別に関する外部から提供されたメタデータによって、話者関連表現の性別割当を導出すべきである。
本稿では、話者のジェンダーメタデータを単一の「マルチジェンダー」ニューラルSTモデルに統合し、維持しやすくすることで、同じ結果を達成することを目的とする。
論文 参考訳(メタデータ) (2023-10-23T17:21:32Z) - Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender
Perturbation over Fairytale Texts [87.62403265382734]
近年の研究では、伝統的な妖精は有害な性バイアスを伴っていることが示されている。
本研究は,ジェンダーの摂動に対する頑健さを評価することによって,言語モデルの学習バイアスを評価することを目的とする。
論文 参考訳(メタデータ) (2023-10-16T22:25:09Z) - The Impact of Debiasing on the Performance of Language Models in
Downstream Tasks is Underestimated [70.23064111640132]
我々は、幅広いベンチマークデータセットを用いて、複数の下流タスクのパフォーマンスに対するデバイアスの影響を比較した。
実験により、デバイアスの効果は全てのタスクにおいて一貫して見積もられていることが示されている。
論文 参考訳(メタデータ) (2023-09-16T20:25:34Z) - VisoGender: A dataset for benchmarking gender bias in image-text pronoun
resolution [80.57383975987676]
VisoGenderは、視覚言語モデルで性別バイアスをベンチマークするための新しいデータセットである。
We focus to occupation-related biases in a hegemonic system of binary gender, inspired by Winograd and Winogender schemas。
我々は、最先端の視覚言語モデルをいくつかベンチマークし、それらが複雑な場面における二項性解消のバイアスを示すことを発見した。
論文 参考訳(メタデータ) (2023-06-21T17:59:51Z) - Quantifying Gender Bias Towards Politicians in Cross-Lingual Language
Models [104.41668491794974]
代名詞として政治家の名前を取り巻く言語モデルによって生成される形容詞と動詞の用法を定量化する。
死者や指定された言葉が男女の政治家と関連しているのに対し、美人や離婚といった特定の言葉が主に女性政治家に関係していることが判明した。
論文 参考訳(メタデータ) (2021-04-15T15:03:26Z) - Mitigating Gender Bias for Neural Dialogue Generation with Adversarial
Learning [44.69720475052093]
本稿では,性別バイアスを伴わない対話モデルを学習するための,新たな逆学習フレームワークであるDebiased-Chatを提案する。
本フレームワークは,応答品質を維持しながら,対話モデルの性別バイアスを大幅に低減する。
論文 参考訳(メタデータ) (2020-09-28T02:46:59Z) - Multi-Dimensional Gender Bias Classification [67.65551687580552]
機械学習モデルは、性別に偏ったテキストでトレーニングする際に、社会的に望ましくないパターンを不注意に学習することができる。
本稿では,テキスト中の性バイアスを複数の実用的・意味的な次元に沿って分解する一般的な枠組みを提案する。
このきめ細かいフレームワークを用いて、8つの大規模データセットにジェンダー情報を自動的にアノテートする。
論文 参考訳(メタデータ) (2020-05-01T21:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。