論文の概要: Fairness Beyond a Single Run: Training-Seed Variability in Speech LLM Adaptation
- arxiv url: http://arxiv.org/abs/2609.38976v1
- Date: Wed, 30 Sep 2026 04:51:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.189897
- Title: Fairness Beyond a Single Run: Training-Seed Variability in Speech LLM Adaptation
- Title(参考訳): 単一ランを超えたフェアネス:LLM適応における訓練系列の可変性
- Abstract要約: クリーンなLibriSpeechの460 hで、この種は、ほとんどの人口動態軸の圧縮よりもフェアネスの指標を移動させる。
フェア・スペーチの民族性では、2つの単一ランシステムは、種子の多様性を超えるように正規化されたギャップにおいて0.30以上の違いでなければならない。
- 参考スコア(独自算出の注目度): 9.975441791053802
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Demographic fairness gaps in automatic speech recognition are almost always reported from a single training run. We fine-tune the Q-former projector and LoRA adapters of a speech LLM at five audio compression factors and six random seeds, holding the encoder, base decoder, data and decoding fixed, and evaluate every run on Common Voice and Fair-Speech. At 460 h of clean LibriSpeech, the seed moves fairness metrics more than compression does on most demographic axes. A balanced 3x3 decomposition attributes 85.3% of the variation in Fair-Speech ethnicity normalized gap to the seed against 8.3% to compression (p = 0.009), though compression explains more on age and gender. Held-out LibriSpeech word error rate spreads by 0.04 points across those seeds while Common Voice spreads by 8.57, so these are not failed runs, and the effect survives controlling for accuracy and dropout. Scaling and diversifying the adaptation set to 960 h damps the effect but does not remove it. On Fair-Speech ethnicity, two single-run systems must differ by more than 0.30 in normalized gap to exceed seed variability.
- Abstract(参考訳): 自動音声認識における画像の公平さのギャップは、ほとんど常に単一のトレーニング実行から報告される。
音声LLMのQ-formerプロジェクタとLoRAアダプタを5つのオーディオ圧縮係数と6つのランダムシードで微調整し、エンコーダ、ベースデコーダ、データとデコードを固定し、Common VoiceとFair-Speechの全ての実行を評価する。
クリーンなLibriSpeechの460 hで、この種は、ほとんどの人口動態軸の圧縮よりもフェアネスの指標を移動させる。
バランスの取れた3x3の分解では、Fair-Speechの民族性の多様性の85.3%が種子とのギャップを8.3%と圧縮(p = 0.009)している。
LibriSpeechの単語誤り率は0.04ポイントまで広がり、Common Voiceは8.57ポイントまで広がるため、これらは実行に失敗せず、精度とドロップアウトの制御を継続する。
960 hに設定された適応のスケーリングと多様化は効果を減衰させるが、除去しない。
フェア・スペーチの民族性では、2つの単一ランシステムは、種子の多様性を超えるように、正規化されたギャップにおいて0.30以上の違いでなければならない。
関連論文リスト
- Temporal Taxation Compounds Under Post-Training Compression of Whisper Models [9.131439623985028]
トレーニング後の重み圧縮は、音声信号や特徴表現よりもモデル重みを変化させる。
書き起こし誤り毎の修正に5秒の費用がかかると仮定すると、これは音声毎分30秒から64秒の修正時間になる。
エッジモデルでは、INT4 HQQ量子化化合物は、西アフリカのアクセントに5から7の因子で破滅的な転写ループを持つ。
論文 参考訳(メタデータ) (2026-09-23T19:31:05Z) - X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation [34.99298958122614]
X-AuTは、短い振る舞いプローブを通して層の組み合わせを選択するプログレッシブフレームワークである。
表現アライメント、クロススケール蒸留、スケジュールされた学生政治監督、LoRAファインタニングを通じて、プルーニングモデルを復元する。
18から16のオーディオエンコーダ層からQwen3-ASR-0.6Bを圧縮した10の公開英語ベンチマークでは、マクロ平均誤差が5.61%から5.27%に減少する。
論文 参考訳(メタデータ) (2026-09-10T11:43:17Z) - Reducing Hallucinated Transcripts in Whisper via Hallucination Space Projection [3.1932005243797867]
そこで本研究では,デコーダアクティベーションの低ランク投影による幻覚を低減するためのトレーニング不要な推論時間手法を提案する。
我々は,低ランクアクティベーションプロジェクションは,再トレーニングを伴わずにWhisper幻覚を著しく抑制できることを示した。
論文 参考訳(メタデータ) (2026-09-03T23:33:12Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳(メタデータ) (2026-07-29T02:42:56Z) - Content is What Remains: Invariant Speech Tokenization from Parallel Utterances [8.166364251367627]
PINTはSSLエンコーダを微調整し、並列発話におけるアライメント損失と、この共有残基を蒸留するために拡張する。
ASRテキストとは異なり、PINTトークンはフレームレベルの時間的グラウンドを保持し、オーディオコーデックのドロップインセマンティックターゲットとして機能する。
論文 参考訳(メタデータ) (2026-07-21T12:19:38Z) - Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition [9.131439623985028]
事前訓練された大規模言語モデルは、音声認識におけるタスク固有のデコーダを置き換える。
彼らのテキスト由来の先行性は、認識をより公平にするか、あるいは人口統計グループに偏っているか?
我々は,3世代にわたる9つのモデルを5つの人口動態軸にわたる約43,000発の発話で評価した。
論文 参考訳(メタデータ) (2026-04-23T04:40:58Z) - Exploring SSL Discrete Speech Features for Zipformer-based Contextual ASR [74.38242498079627]
自己教師付き学習(SSL)に基づく離散音声表現は、非常にコンパクトで、ドメイン適応性が高い。
本稿では、Zipformer-Transducer ASRシステムにおいて、WavLMモデルから抽出したSSL離散音声特徴を追加の発話音響コンテキスト特徴として用いた。
論文 参考訳(メタデータ) (2024-09-13T13:01:09Z) - TransFace: Unit-Based Audio-Visual Speech Synthesizer for Talking Head
Translation [54.155138561698514]
音声から音声への直接翻訳は、自己教師付き学習から得られる離散単位を導入することにより、高品質な結果が得られる。
既存の方法は常にカスケードに依存し、音声とテキストの両方を通して合成し、遅延やカスケードエラーを引き起こす。
本稿では,音声-視覚音声を他の言語で直接音声-視覚音声に翻訳できる,頭部翻訳モデルである textbfTransFace を提案する。
論文 参考訳(メタデータ) (2023-12-23T08:45:57Z) - Voicebox: Text-Guided Multilingual Universal Speech Generation at Scale [58.46845567087977]
Voiceboxは、大規模音声のための最も多用途なテキスト誘導生成モデルである。
モノまたはクロスランガルのゼロショットテキスト音声合成、ノイズ除去、コンテンツ編集、スタイル変換、多様なサンプル生成に使用できる。
最先端のゼロショットTSモデルであるVALL-E(5.9%対1.9%のワードエラー率)とオーディオの類似性(0.580対0.681)は20倍高速である。
論文 参考訳(メタデータ) (2023-06-23T16:23:24Z) - Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs
for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。
具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。
既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文 参考訳(メタデータ) (2021-10-11T00:08:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。