論文の概要: Identifying and typifying demographic unfairness in phoneme-level embeddings of self-supervised speech recognition models
- arxiv url: http://arxiv.org/abs/2604.22631v1
- Date: Fri, 24 Apr 2026 15:03:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-27 15:36:26.511872
- Title: Identifying and typifying demographic unfairness in phoneme-level embeddings of self-supervised speech recognition models
- Title（参考訳）: 自己教師型音声認識モデルの音素レベル埋め込みにおける人口統計学的不公平性の同定と類型化
- Abstract要約: 本稿では,ASRシステムにおける音素のモデル化において発生する2種類の誤りを典型化する枠組みを提案する。
学習用音素分類プローブは、通常不利な1つのSGにのみ適用され、時にはそのSGの性能が向上する。
いずれの種類の誤りも音素埋め込みに存在し、両者はASRにおけるSGレベルの不公平性の候補である。
- 参考スコア（独自算出の注目度）: 47.083353570613916
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern automatic speech recognition (ASR) systems have been observed to function better for certain speaker groups (SGs) than others, despite recent gains in overall performance. One potential impediment to progress towards fairer ASR is a more nuanced understanding of the types of modeling errors that speech encoder models make, and in particular the difference between the structure of embeddings for high-performance and low-performance SGs. This paper proposes a framework typifying two types of error that can occur in modeling phonemes in ASR systems: random error/high variance in phoneme embedding, vs systematic error/embedding bias. We find that training phoneme classification probes only on a single, typically disadvantaged SG, sometimes improves performance for that SG, which is evidence for the existence of SG-level bias in phoneme embeddings. On the other hand, we find that speakers and SGs with higher levels of phoneme variance are the same as those with worse phoneme prediction accuracy. We conclude that both types of error are present in phoneme embeddings and both are candidate causes for SG-level unfairness in ASR, though random error is likely a greater hindrance to fairness than systematic error. Furthermore, we find that finetuning encoder models using a fairness-enhancing algorithm (domain enhancing and adversarial training) changes neither the benefits of in-domain phoneme classification probe training, nor measured levels of random embedding error.
- Abstract（参考訳）: 現代の自動音声認識(ASR)システムは、近年の全体的な性能向上にもかかわらず、特定の話者群(SG)に対してより優れた機能を示すことが観察されている。
より公平なASRに向けて進むための潜在的な障害の1つは、音声エンコーダモデルが生成するモデリングエラーのタイプ、特に高性能で低パフォーマンスなSGに対する埋め込み構造の違いをよりきめ細やかな理解である。
本稿では,ASRシステムにおける音素のモデル化において発生する2種類の誤りをモデル化する枠組みを提案する。
学習音素分類プローブは, 典型的には不利な1つのSGにのみ適用され, 音素埋め込みにおけるSGレベルのバイアスの存在の証拠となるSGの性能が向上することがある。
一方, 高レベルの音素変化を有する話者やSGは, 音素予測精度が低い者と同じであることがわかった。
いずれの種類の誤りも音素埋め込みに存在し、両者がASRにおけるSGレベルの不公平性の候補となるが、ランダムエラーは系統的誤りよりも公平性への障害が大きい可能性が高い。
さらに、フェアネス・エンハンシング・アルゴリズム(ドメインの強化と対角訓練)を用いた微調整エンコーダモデルでは、ドメイン内音素分類プローブ訓練の利点もランダム埋め込み誤差の測定レベルも変化しないことがわかった。
関連論文リスト
- Graph-Based Phonetic Error Correction of Noisy ASR [15.765749498997442]
本稿では,音声グラフモデリングと文脈言語理解を組み合わせた構造化ASR補正フレームワークを提案する。
グラフニューラルネットワーク(GNN)は、まず、フラグ付きトークンに対して、音響的に検証可能な候補近傍を構築する。
その後、マスク付き言語モデル(MLM)が局所的な文脈スコアリングを提供し、命令調整型大規模言語モデル(LLM)が最終的な文脈認識の再ランク付けを行う。
論文 参考訳（メタデータ） (2026-04-29T13:57:11Z) - "Sorry, I Didn't Catch That": How Speech Models Miss What Matters Most [30.735876729204012]
本研究は, ハイテイクタスクにおける障害モードについて考察する。
OpenAI、Deepgram、Google、Microsoftの15のモデルを、言語的に多様な米国の話者の録音で評価し、平均転写エラー率は44%である。
この害を軽減するために、オープンソースのテキスト音声モデルを用いて、名前付きエンティティの様々な発音を生成する合成データ生成手法を導入する。
論文 参考訳（メタデータ） (2026-02-12T18:36:09Z) - Two Heads Are Better Than One: Audio-Visual Speech Error Correction with Dual Hypotheses [71.34350093068473]
本稿では,音声視覚音声認識(AVSR)における生成誤り訂正(GER)フレームワークの新たなパラダイムを提案する。
我々のフレームワークであるDualHypは、独立した自動音声認識(ASR)モデルと視覚音声認識(VSR)モデルから独立したN-best仮説を構成するために、大規模言語モデル(LLM)を強制する。
我々のフレームワークは、標準のASRベースラインよりもLRS2ベンチマークで57.7%のエラー率を獲得していますが、シングルストリームのGERアプローチでは10%のゲインしか達成できません。
論文 参考訳（メタデータ） (2025-10-15T08:27:16Z) - Speaker Tagging Correction With Non-Autoregressive Language Models [0.0]
非自己回帰言語モデルに基づく話者タグ付け補正システムを提案する。
提案手法は, 単語ダイアリゼーション誤り率 (WDER) を2つのデータセットで減少させる。
論文 参考訳（メタデータ） (2024-08-30T11:02:17Z) - Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition [52.624909026294105]
本稿では,非自己回帰型音声誤り訂正法を提案する。
信頼モジュールは、N-best ASR仮説の各単語の不確実性を測定する。
提案方式は,ASRモデルと比較して誤差率を21%削減する。
論文 参考訳（メタデータ） (2024-06-29T17:56:28Z) - Generative error correction for code-switching speech recognition using
large language models [49.06203730433107]
コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。
本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
論文 参考訳（メタデータ） (2023-10-17T14:49:48Z) - Preserving Phonemic Distinctions for Ordinal Regression: A Novel Loss
Function for Automatic Pronunciation Assessment [10.844822448167937]
回帰に基づくAPAモデルの学習のための音素コントラストオーディショナル(PCO)損失を提案する。
具体的には、MSE損失に音素識別正則化器を導入し、異なる音素カテゴリの特徴表現を遠方へ誘導する。
speechocean762ベンチマークデータセットで行った広範な実験結果から,本モデルの有効性と有効性が示唆された。
論文 参考訳（メタデータ） (2023-10-03T07:05:37Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳（メタデータ） (2023-09-27T14:44:10Z) - Investigating the Sensitivity of Automatic Speech Recognition Systems to
Phonetic Variation in L2 Englishes [3.198144010381572]
この研究は、複数のL2英語で音声変化を処理する方法を見つけるために、ASRシステムを探索する方法を実証する。
ASRの振る舞いは、類似した話し言葉を持つ話者間で体系的かつ一貫性があることが示されている。
論文 参考訳（メタデータ） (2023-05-12T11:29:13Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。