論文の概要: Twists, Humps, and Pebbles: Multilingual Speech Recognition Models Exhibit Gender Performance Gaps

• arxiv url: http://arxiv.org/abs/2402.17954v2
• Date: Wed, 19 Jun 2024 13:42:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 04:59:27.383617
• Title: Twists, Humps, and Pebbles: Multilingual Speech Recognition Models Exhibit Gender Performance Gaps
• Title（参考訳）: Twists、Humps、Pebbles:多言語音声認識モデル
• Authors: Giuseppe Attanasio, Beatrice Savoldi, Dennis Fucci, Dirk Hovy,
• Abstract要約: 本研究では,3つのデータセット上で広く使用されている2つの多言語ASRモデルの性能を体系的に評価する。 以上の結果から,言語やモデルによって異なる傾向がみられた。 以上の結果から,最先端モデルにおいても男女格差は持続していることがわかった。
• 参考スコア（独自算出の注目度）: 25.95711246919163
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current automatic speech recognition (ASR) models are designed to be used across many languages and tasks without substantial changes. However, this broad language coverage hides performance gaps within languages, for example, across genders. Our study systematically evaluates the performance of two widely used multilingual ASR models on three datasets, encompassing 19 languages from eight language families and two speaking conditions. Our findings reveal clear gender disparities, with the advantaged group varying across languages and models. Surprisingly, those gaps are not explained by acoustic or lexical properties. However, probing internal model states reveals a correlation with gendered performance gap. I.e., the easier it is to distinguish speaker gender in a language using probes, the more the gap reduces, favoring female speakers. Our results show that gender disparities persist even in state-of-the-art models. Our findings have implications for the improvement of multilingual ASR systems, underscoring the importance of accessibility to training data and nuanced evaluation to predict and mitigate gender gaps. We release all code and artifacts at https://github.com/g8a9/multilingual-asr-gender-gap.
• Abstract（参考訳）: 現在の自動音声認識(ASR)モデルは、多くの言語やタスクでかなりの変更を加えることなく使用できるように設計されている。 しかしながら、この広範な言語カバレッジは、例えば性別間での言語内のパフォーマンスギャップを隠蔽する。 本研究では,8つの言語族と2つの話し言葉条件から19の言語を包含する3つのデータセット上で,広く使用されている2つの多言語ASRモデルの性能を体系的に評価した。 以上の結果から,言語やモデルによって異なる傾向がみられた。 驚くべきことに、これらのギャップは音響的または語彙的特性によって説明されない。 しかし、内部モデル状態の探索は、性差と相関関係を示す。 すなわち、プローブを用いた言語における話者の性別の識別がより容易になるほど、ギャップが減り、女性話者が好まれる。 以上の結果から,最先端モデルにおいても男女格差は持続していることがわかった。 本研究は,学習データへのアクセシビリティの重要性と,性別格差の予測と緩和を目的としたニュアンス評価を,多言語ASRシステムの改善に寄与すると考えられる。 すべてのコードとアーティファクトをhttps://github.com/g8a9/multilingual-asr-gender-gapでリリースします。

関連論文リスト

• Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You [64.74707085021858]
  多言語モデルは、モノリンガルモデルと同様に、有意な性別バイアスに悩まされていることを示す。 多言語モデルにおけるジェンダーバイアスの研究を促進するための新しいベンチマークMAGBIGを提案する。 以上の結果から,モデルが強い性バイアスを示すだけでなく,言語によって異なる行動を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-01-29T12:02:28Z)
• Quantifying the Dialect Gap and its Correlates Across Languages [69.18461982439031]
  この研究は、明らかな相違を明らかにし、マインドフルなデータ収集を通じてそれらに対処する可能性のある経路を特定することによって、方言NLPの分野を強化する基盤となる。
  論文  参考訳（メタデータ） (2023-10-23T17:42:01Z)
• How To Build Competitive Multi-gender Speech Translation Models For Controlling Speaker Gender Translation [21.125217707038356]
  発音性言語から文法性言語に翻訳する場合、生成された翻訳は、話者を参照する者を含む様々な単語に対して、明確なジェンダー代入を必要とする。 このような偏見や包括的行動を避けるために、話者の性別に関する外部から提供されたメタデータによって、話者関連表現の性別割当を導出すべきである。 本稿では、話者のジェンダーメタデータを単一の「マルチジェンダー」ニューラルSTモデルに統合し、維持しやすくすることで、同じ結果を達成することを目的とする。
  論文  参考訳（メタデータ） (2023-10-23T17:21:32Z)
• Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation [12.376309678270275]
  並列データが利用できない言語間のギャップを埋めることは、多言語NTTの性別バイアスに影響を与える。 本研究では, 言語に依存しない隠蔽表現が, ジェンダーの保存能力に及ぼす影響について検討した。 言語に依存しない表現は、ゼロショットモデルの男性バイアスを緩和し、ブリッジ言語におけるジェンダーインフレクションのレベルが増加し、話者関連性合意に対するより公平なジェンダー保存に関するゼロショット翻訳を超越することがわかった。
  論文  参考訳（メタデータ） (2023-05-26T13:51:50Z)
• Target-Agnostic Gender-Aware Contrastive Learning for Mitigating Bias in Multilingual Machine Translation [28.471506840241602]
  ジェンダーバイアスは機械翻訳において重要な問題であり、バイアス軽減技術の研究が進行中である。 本稿では,新しいアプローチに基づくバイアス緩和手法を提案する。 Gender-Aware Contrastive Learning, GACLは、文脈性情報を非明示性単語の表現にエンコードする。
  論文  参考訳（メタデータ） (2023-05-23T12:53:39Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Generating Multilingual Gender-Ambiguous Text-to-Speech Voices [4.005334718121374]
  本研究は,マルチスピーカ・マルチリンガル・セッティングにおいて,男女あいまいなTTS音声を新たに生成する作業に対処する。 我々の知る限り、これは、様々な性別のあいまいな声を確実に生成できる、体系的で検証された最初のアプローチである。
  論文  参考訳（メタデータ） (2022-11-01T10:40:24Z)
• Analyzing Gender Representation in Multilingual Models [59.21915055702203]
  実践的なケーススタディとして,ジェンダーの区別の表現に焦点をあてる。 ジェンダーの概念が、異なる言語で共有された部分空間にエンコードされる範囲について検討する。
  論文  参考訳（メタデータ） (2022-04-20T00:13:01Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。