論文の概要: SVEva Fair: A Framework for Evaluating Fairness in Speaker Verification
- arxiv url: http://arxiv.org/abs/2107.12049v1
- Date: Mon, 26 Jul 2021 09:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 21:29:27.322687
- Title: SVEva Fair: A Framework for Evaluating Fairness in Speaker Verification
- Title（参考訳）: SVEva Fair: 話者検証の公平性を評価するフレームワーク
- Authors: Wiebke Toussaint and Aaron Yi Ding
- Abstract要約: 話者認証は、音声アシスタントへのアクセスを可能にする生体認証の一種である。
公平性の指標が欠如しているため、モデルパフォーマンスがサブグループによってどのように異なるかはほとんど分かっていない。
我々は,話者検証コンポーネントの妥当性を評価するための,アクセシブルで動作可能な,モデルに依存しないフレームワークであるSVEva Fairを開発した。
- 参考スコア（独自算出の注目度）: 1.2437226707039446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the success of deep neural networks (DNNs) in enabling on-device
voice assistants, increasing evidence of bias and discrimination in machine
learning is raising the urgency of investigating the fairness of these systems.
Speaker verification is a form of biometric identification that gives access to
voice assistants. Due to a lack of fairness metrics and evaluation frameworks
that are appropriate for testing the fairness of speaker verification
components, little is known about how model performance varies across
subgroups, and what factors influence performance variation. To tackle this
emerging challenge, we design and develop SVEva Fair, an accessible, actionable
and model-agnostic framework for evaluating the fairness of speaker
verification components. The framework provides evaluation measures and
visualisations to interrogate model performance across speaker subgroups and
compare fairness between models. We demonstrate SVEva Fair in a case study with
end-to-end DNNs trained on the VoxCeleb datasets to reveal potential bias in
existing embedded speech recognition systems based on the demographic
attributes of speakers. Our evaluation shows that publicly accessible benchmark
models are not fair and consistently produce worse predictions for some
nationalities, and for female speakers of most nationalities. To pave the way
for fair and reliable embedded speaker verification, SVEva Fair has been
implemented as an open-source python library and can be integrated into the
embedded ML development pipeline to facilitate developers and researchers in
troubleshooting unreliable speaker verification performance, and selecting high
impact approaches for mitigating fairness challenges
- Abstract（参考訳）: デバイス上での音声アシスタントを可能にするディープニューラルネットワーク(DNN)の成功にもかかわらず、機械学習におけるバイアスと差別の証拠の増加は、これらのシステムの公正性を調べる緊急性を高めている。
話者認証は、音声アシスタントへのアクセスを可能にする生体認証の一種である。
話者検証コンポーネントの公平性をテストするのに適した公平度指標や評価フレームワークが欠如しているため、サブグループ間でモデルパフォーマンスがどのように異なるか、どの要因がパフォーマンスに影響を及ぼすかについてはほとんど分かっていない。
この新たな課題に対処するために,話者検証コンポーネントの公平性を評価するための,アクセシブルで動作可能な,モデルに依存しないフレームワークであるSVEva Fairを設計・開発する。
このフレームワークは、話者サブグループ間のモデルパフォーマンスを尋問し、モデル間の公平性を比較するための評価尺度と視覚化を提供する。
SVEva Fairは、VoxCelebデータセットに基づいて訓練されたエンドツーエンドDNNを用いて、話者の人口統計特性に基づく既存の組込み音声認識システムにおける潜在的なバイアスを明らかにするケーススタディである。
我々の評価では、公開可能なベンチマークモデルは公平ではなく、いくつかの国籍、およびほとんどの国籍の女性話者にとって、常に悪い予測を導き出している。
公正で信頼性の高い組込み話者検証を実現するため、SVEva Fairはオープンソースのpythonライブラリとして実装され、組み込みML開発パイプラインに統合され、開発者は信頼性の低い話者検証性能のトラブルシュートや、公正性の課題を軽減するための高い影響アプローチを選択することができる。
関連論文リスト
- On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [49.60774626839712]
マルチモーダル生成モデルは 彼らの公正さ、信頼性、そして誤用の可能性について 批判的な議論を呼んだ
組込み空間における摂動に対する応答を通じてモデルの信頼性を評価するための評価フレームワークを提案する。
本手法は, 信頼できない, バイアス注入されたモデルを検出し, バイアス前駆体の検索を行うための基礎となる。
論文 参考訳（メタデータ） (2024-11-21T09:46:55Z) - Thinking Racial Bias in Fair Forgery Detection: Models, Datasets and Evaluations [63.52709761339949]
最初に、Fair Forgery Detection(FairFD)データセットと呼ばれる専用のデータセットをコントリビュートし、SOTA(Public State-of-the-art)メソッドの人種的偏見を証明する。
我々は、偽りの結果を避けることができる平均的メトリクスと実用正規化メトリクスを含む新しいメトリクスを設計する。
また,有効で堅牢な後処理技術であるBias Pruning with Fair Activations (BPFA)も提案する。
論文 参考訳（メタデータ） (2024-07-19T14:53:18Z) - FairLENS: Assessing Fairness in Law Enforcement Speech Recognition [37.75768315119143]
本研究では,異なるモデル間の公平さの相違を検証するための,新しい適応性評価手法を提案する。
我々は1つのオープンソースと11の商用 ASR モデルに対してフェアネスアセスメントを行った。
論文 参考訳（メタデータ） (2024-05-21T19:23:40Z) - AV-SUPERB: A Multi-Task Evaluation Benchmark for Audio-Visual Representation Models [92.92233932921741]
AV-SUPERBベンチマークは,音声・視覚・バイモーダル融合表現の汎用的評価を可能にする。
我々は,最近の5つの自己教師型モデルを評価し,これらのモデルがすべてのタスクに一般化されないことを示す。
我々は,AudioSetを用いた中間タスクの微調整と音声イベント分類によって表現が改善されることを実証した。
論文 参考訳（メタデータ） (2023-09-19T17:35:16Z) - DualFair: Fair Representation Learning at Both Group and Individual
Levels via Contrastive Self-supervision [73.80009454050858]
この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。
我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
論文 参考訳（メタデータ） (2023-03-15T07:13:54Z) - Design Guidelines for Inclusive Speaker Verification Evaluation Datasets [0.6015898117103067]
話者検証(SV)は、アクセス制御を備えた数十億の音声対応デバイスを提供し、音声駆動技術のセキュリティを保証する。
現在のSV評価プラクティスは偏見を評価するには不十分であり、実際の使用シナリオを代表してではなく、過度に単純化され、ユーザを集約している。
本稿では,これらの欠点に対処するSV評価データセットを構築するための設計ガイドラインを提案する。
論文 参考訳（メタデータ） (2022-04-05T15:28:26Z) - Bias in Automated Speaker Recognition [0.0]
自動話者認識における話者検証,音声バイオメトリック,コアタスクの機械学習開発ワークフローにおけるバイアスについて検討する。
我々は、よく知られたVoxCeleb Speaker Recognition Challengeにおいて、すべての発達段階にバイアスが存在することを示す。
影響を受けたのは女性話者と非米国国籍で、パフォーマンスが著しく低下している。
論文 参考訳（メタデータ） (2022-01-24T06:48:57Z) - Bootstrap Equilibrium and Probabilistic Speaker Representation Learning
for Self-supervised Speaker Verification [15.652180150706002]
本稿では,自己教師型話者表現学習戦略を提案する。
フロントエンドでは,一様正規化項を用いたブートストラップ学習方式を用いて話者表現を学習する。
バックエンドでは、同一話者に属する音声サンプル間の相互確率スコアを最大化することにより、確率的話者埋め込みを推定する。
論文 参考訳（メタデータ） (2021-12-16T14:55:44Z) - Improving Fairness in Speaker Recognition [4.94706680113206]
最先端の深層話者認識システムによって達成される性能の格差を調査します。
統計学的にバランスのとれたトレーニングセットで訓練されたモデルでは,異なるグループでより公平な行動を示すが,精度は高い。
論文 参考訳（メタデータ） (2021-04-29T01:08:53Z) - Self-supervised Text-independent Speaker Verification using Prototypical
Momentum Contrastive Learning [58.14807331265752]
モーメントの対比学習によって話者埋め込みがより良く学習できることを示す。
自己監視フレームワークを、データのごく一部しかラベル付けされない半監視シナリオに一般化します。
論文 参考訳（メタデータ） (2020-12-13T23:23:39Z) - Deep Speaker Embeddings for Far-Field Speaker Recognition on Short
Utterances [53.063441357826484]
深層話者埋め込みに基づく話者認識システムは,制御条件下での大幅な性能向上を実現している。
制御されていない雑音環境下での短い発話に対する話者検証は、最も困難で要求の高いタスクの1つである。
本稿では,a)環境騒音の有無による遠距離話者検証システムの品質向上,b)短時間発話におけるシステム品質劣化の低減という2つの目標を達成するためのアプローチを提案する。
論文 参考訳（メタデータ） (2020-02-14T13:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。