論文の概要: SVEva Fair: A Framework for Evaluating Fairness in Speaker Verification
- arxiv url: http://arxiv.org/abs/2107.12049v1
- Date: Mon, 26 Jul 2021 09:15:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-27 21:29:27.322687
- Title: SVEva Fair: A Framework for Evaluating Fairness in Speaker Verification
- Title(参考訳): SVEva Fair: 話者検証の公平性を評価するフレームワーク
- Authors: Wiebke Toussaint and Aaron Yi Ding
- Abstract要約: 話者認証は、音声アシスタントへのアクセスを可能にする生体認証の一種である。
公平性の指標が欠如しているため、モデルパフォーマンスがサブグループによってどのように異なるかはほとんど分かっていない。
我々は,話者検証コンポーネントの妥当性を評価するための,アクセシブルで動作可能な,モデルに依存しないフレームワークであるSVEva Fairを開発した。
- 参考スコア(独自算出の注目度): 1.2437226707039446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the success of deep neural networks (DNNs) in enabling on-device
voice assistants, increasing evidence of bias and discrimination in machine
learning is raising the urgency of investigating the fairness of these systems.
Speaker verification is a form of biometric identification that gives access to
voice assistants. Due to a lack of fairness metrics and evaluation frameworks
that are appropriate for testing the fairness of speaker verification
components, little is known about how model performance varies across
subgroups, and what factors influence performance variation. To tackle this
emerging challenge, we design and develop SVEva Fair, an accessible, actionable
and model-agnostic framework for evaluating the fairness of speaker
verification components. The framework provides evaluation measures and
visualisations to interrogate model performance across speaker subgroups and
compare fairness between models. We demonstrate SVEva Fair in a case study with
end-to-end DNNs trained on the VoxCeleb datasets to reveal potential bias in
existing embedded speech recognition systems based on the demographic
attributes of speakers. Our evaluation shows that publicly accessible benchmark
models are not fair and consistently produce worse predictions for some
nationalities, and for female speakers of most nationalities. To pave the way
for fair and reliable embedded speaker verification, SVEva Fair has been
implemented as an open-source python library and can be integrated into the
embedded ML development pipeline to facilitate developers and researchers in
troubleshooting unreliable speaker verification performance, and selecting high
impact approaches for mitigating fairness challenges
- Abstract(参考訳): デバイス上での音声アシスタントを可能にするディープニューラルネットワーク(DNN)の成功にもかかわらず、機械学習におけるバイアスと差別の証拠の増加は、これらのシステムの公正性を調べる緊急性を高めている。
話者認証は、音声アシスタントへのアクセスを可能にする生体認証の一種である。
話者検証コンポーネントの公平性をテストするのに適した公平度指標や評価フレームワークが欠如しているため、サブグループ間でモデルパフォーマンスがどのように異なるか、どの要因がパフォーマンスに影響を及ぼすかについてはほとんど分かっていない。
この新たな課題に対処するために,話者検証コンポーネントの公平性を評価するための,アクセシブルで動作可能な,モデルに依存しないフレームワークであるSVEva Fairを設計・開発する。
このフレームワークは、話者サブグループ間のモデルパフォーマンスを尋問し、モデル間の公平性を比較するための評価尺度と視覚化を提供する。
SVEva Fairは、VoxCelebデータセットに基づいて訓練されたエンドツーエンドDNNを用いて、話者の人口統計特性に基づく既存の組込み音声認識システムにおける潜在的なバイアスを明らかにするケーススタディである。
我々の評価では、公開可能なベンチマークモデルは公平ではなく、いくつかの国籍、およびほとんどの国籍の女性話者にとって、常に悪い予測を導き出している。
公正で信頼性の高い組込み話者検証を実現するため、SVEva Fairはオープンソースのpythonライブラリとして実装され、組み込みML開発パイプラインに統合され、開発者は信頼性の低い話者検証性能のトラブルシュートや、公正性の課題を軽減するための高い影響アプローチを選択することができる。
関連論文リスト
- AV-SUPERB: A Multi-Task Evaluation Benchmark for Audio-Visual
Representation Models [94.36745306051202]
AV-SUPERBベンチマークは,音声・視覚・バイモーダル融合表現の汎用的評価を可能にする。
我々は,最近の5つの自己教師型モデルを評価し,これらのモデルがすべてのタスクに一般化されないことを示す。
我々は,AudioSetを用いた中間タスクの微調整と音声イベント分類によって表現が改善されることを実証した。
論文 参考訳(メタデータ) (2023-09-19T17:35:16Z) - DualFair: Fair Representation Learning at Both Group and Individual
Levels via Contrastive Self-supervision [73.80009454050858]
この研究は、DualFairと呼ばれる自己教師型モデルを提示し、学習された表現から性別や人種などのセンシティブな属性をデバイアスすることができる。
我々のモデルは、グループフェアネスと対実フェアネスという2つのフェアネス基準を共同で最適化する。
論文 参考訳(メタデータ) (2023-03-15T07:13:54Z) - Design Guidelines for Inclusive Speaker Verification Evaluation Datasets [0.6015898117103067]
話者検証(SV)は、アクセス制御を備えた数十億の音声対応デバイスを提供し、音声駆動技術のセキュリティを保証する。
現在のSV評価プラクティスは偏見を評価するには不十分であり、実際の使用シナリオを代表してではなく、過度に単純化され、ユーザを集約している。
本稿では,これらの欠点に対処するSV評価データセットを構築するための設計ガイドラインを提案する。
論文 参考訳(メタデータ) (2022-04-05T15:28:26Z) - Improved Relation Networks for End-to-End Speaker Verification and
Identification [0.0]
話者識別システムは、少数のサンプルが与えられた一連の登録話者の中から話者を識別する。
話者検証と少数ショット話者識別のための改良された関係ネットワークを提案する。
話者検証におけるプロトタイプネットワークの利用に触発されて、トレーニングセットに存在するすべての話者のうち、現在のエピソードのサンプルを分類するようにモデルを訓練する。
論文 参考訳(メタデータ) (2022-03-31T17:44:04Z) - Bias in Automated Speaker Recognition [0.0]
自動話者認識における話者検証,音声バイオメトリック,コアタスクの機械学習開発ワークフローにおけるバイアスについて検討する。
我々は、よく知られたVoxCeleb Speaker Recognition Challengeにおいて、すべての発達段階にバイアスが存在することを示す。
影響を受けたのは女性話者と非米国国籍で、パフォーマンスが著しく低下している。
論文 参考訳(メタデータ) (2022-01-24T06:48:57Z) - Bootstrap Equilibrium and Probabilistic Speaker Representation Learning
for Self-supervised Speaker Verification [15.652180150706002]
本稿では,自己教師型話者表現学習戦略を提案する。
フロントエンドでは,一様正規化項を用いたブートストラップ学習方式を用いて話者表現を学習する。
バックエンドでは、同一話者に属する音声サンプル間の相互確率スコアを最大化することにより、確率的話者埋め込みを推定する。
論文 参考訳(メタデータ) (2021-12-16T14:55:44Z) - LDNet: Unified Listener Dependent Modeling in MOS Prediction for
Synthetic Speech [67.88748572167309]
本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。
より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
論文 参考訳(メタデータ) (2021-10-18T08:52:31Z) - VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised
Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。
コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。
実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
論文 参考訳(メタデータ) (2021-06-18T13:50:38Z) - Improving Fairness in Speaker Recognition [4.94706680113206]
最先端の深層話者認識システムによって達成される性能の格差を調査します。
統計学的にバランスのとれたトレーニングセットで訓練されたモデルでは,異なるグループでより公平な行動を示すが,精度は高い。
論文 参考訳(メタデータ) (2021-04-29T01:08:53Z) - Self-supervised Text-independent Speaker Verification using Prototypical
Momentum Contrastive Learning [58.14807331265752]
モーメントの対比学習によって話者埋め込みがより良く学習できることを示す。
自己監視フレームワークを、データのごく一部しかラベル付けされない半監視シナリオに一般化します。
論文 参考訳(メタデータ) (2020-12-13T23:23:39Z) - Deep Speaker Embeddings for Far-Field Speaker Recognition on Short
Utterances [53.063441357826484]
深層話者埋め込みに基づく話者認識システムは,制御条件下での大幅な性能向上を実現している。
制御されていない雑音環境下での短い発話に対する話者検証は、最も困難で要求の高いタスクの1つである。
本稿では,a)環境騒音の有無による遠距離話者検証システムの品質向上,b)短時間発話におけるシステム品質劣化の低減という2つの目標を達成するためのアプローチを提案する。
論文 参考訳(メタデータ) (2020-02-14T13:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。