論文の概要: How Robust Are Neural Audio Codecs for African Speech? A Multi-Task Benchmark and the Limits of Perceptual Quality

• arxiv url: http://arxiv.org/abs/2610.00154v1
• Date: Thu, 10 Sep 2026 17:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.384412
• Title: How Robust Are Neural Audio Codecs for African Speech? A Multi-Task Benchmark and the Limits of Perceptual Quality
• Title（参考訳）: アフリカ音声におけるニューラルオーディオコーデックのロバスト性 : マルチタスクベンチマークと知覚品質の限界
• Abstract要約: 3つのアフリカの音声データセットに7つのオープンソースのニューラルコーデックをベンチマークする。 信号測度は下流の妥当性で大きく異なる。 劣化はドメインに依存し、会話ダイアログにとって最大である。
• 参考スコア（独自算出の注目度）: 0.26443508207046457
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural audio codecs enable low-bitrate speech compression and tokenization, yet their robustness on accented and multilingual speech remains under-evaluated. We benchmark seven open-source neural codecs (DAC, EnCodec, FocalCodec, LanguageCodec, SemantiCodec, UniCodec, WavTokenizer) on three African speech datasets afrinames, afrispeech dialog, afrispeech multilingual, reporting signal-level quality (NISQA, UTMOS, ViSQOL, STOI, F0-RMSE) alongside two downstream tasks: automatic speech recognition (ASR) and speaker verification (ASV). Our analysis yields four findings. First, signal metrics differ sharply in downstream validity: reference-based structural/intelligibility measures (ViSQOL, STOI) and prosodic error (F0-RMSE) track ASR and ASV degradation far more reliably than neural mean-opinion-score predictors (NISQA, UTMOS). Second, intelligibility and speaker-identity preservation diverge sharply across architectures, and the apparent identity ranking itself depends on the ASV backend. Third, degradation is strongly domain-dependent and largest for conversational dialog. Fourth, the resulting degradation is partly recoverable: parameter-efficient \emph{codec} adaptation (LoRA, $\sim$1--3\% of parameters) on roughly 35 hours of African speech reduces the compression-induced word-error-rate gap, recovering recognition toward the uncompressed baseline (developed in companion work). These results motivate task-aware, domain-representative, and adaptation-aware evaluation of speech codecs as a prerequisite for inclusive deployment.
• Abstract（参考訳）: ニューラルオーディオコーデックは低ビットレートの音声圧縮とトークン化を可能にするが、アクセント付きおよび多言語音声に対する頑健さは未評価のままである。 我々は、自動音声認識(ASR)と話者検証(ASV)の2つの下流タスクに加えて、アフリカの3つの音声データセット、フリスペックダイアログ、フリスペック多言語、報告信号レベルの品質(NISQA、UTMOS、ViSQOL、STOI、F0-RMSE)に対して、DAC、EnCodec、FocalCodec、LanguageCodec、SemantiCodec、UniCodec、WavTokenizerの7つのオープンソースニューラルコーデックをベンチマークした。 私たちの分析は4つの結果をもたらす。 基準ベース構造/インテリジェンス尺度 (ViSQOL, STOI) と韻律誤差 (F0-RMSE) のトラック ASR と ASV の分解は、神経平均視差予測器 (NISQA, UTMOS) よりもはるかに信頼性が高い。 第二に、インテリジェンス性と話者のアイデンティティの保存はアーキテクチャによって大きく異なり、明らかなアイデンティティランキング自体がASVバックエンドに依存している。 第三に、分解はドメインに依存し、会話ダイアログにとって最大である。 第4に、アフリカの約35時間におけるパラメータ係数 \emph{codec} 適応 (LoRA, $\sim$1--3\% of parameters) は、圧縮によって引き起こされる単語エラーレートのギャップを減らし、圧縮されていないベースライン(共同作業で開発された)に対する認識を回復する。 これらの結果は、包括的展開の前提条件として、音声コーデックのタスク認識、ドメイン表現、適応認識の評価を動機付けている。

関連論文リスト

• Integrating Language Models into Listened and Imagined Speech Decoding from MEG [19.774038251336375]
  我々は、MEG表現を音響および文脈言語表現と整合させるニューラルデコーダを訓練する。 音声音声の復号化は,音声音声の復号化よりも,言語モデルから恩恵を受けることが判明した。
  論文  参考訳（メタデータ） (2026-09-25T20:55:26Z)
• Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations [18.74784108693223]
  トランスフォーマーに基づく言語モデル(SLM)は、音声認識と理解を大幅に改善した。 SLMが如何に構文的・概念的特徴をエンコードするかはいまだ不明である。 本研究は,SLMにおける文脈的構文的特徴と意味的特徴の存在を体系的に評価した最初のものである。
  論文  参考訳（メタデータ） (2025-09-19T06:29:33Z)
• SecoustiCodec: Cross-Modal Aligned Streaming Single-Codecbook Speech Codec [83.61175662066364]
  音声コーデックは、音声とテキスト言語モデルを統一するための重要なブリッジとして機能する。 既存の手法はセマンティックエンコーディングにおいていくつかの課題に直面している。 本稿では,クロスモーダルな低ビットレートストリーミング音声コーデックSecoustiCodecを提案する。
  論文  参考訳（メタデータ） (2025-08-04T19:22:14Z)
• Factorized RVQ-GAN For Disentangled Speech Tokenization [34.73812744103814]
  本稿では,そのボトルネックを1つのモデルで3つの言語レベル(音響,音声,語彙)に分解する統合型ニューラル音声エンコーダを提案する。 英語と多言語のデータの実験により、HACの分解されたボトルネックは非絡み合いのトークン集合をもたらすことが示された。 定量的評価は,HACが自然性を保持し,言語情報を提供することを確認した。
  論文  参考訳（メタデータ） (2025-06-18T13:36:34Z)
• What Makes a Good Speech Tokenizer for LLM-Centric Speech Generation? A Systematic Study [58.55905182336196]
  音声言語モデル(SLM)は、音声とテキストの理解と生成を統一するための有望な経路を提供する。 LLM中心のSLMにおける音声トークン化設計の役割について検討し,音声ヘッドと話者モデルを用いて検討した。 SLMにマルチトークン予測(MTP)を導入し、各隠れ状態が複数の音声トークンを復号化できるようにする。
  論文  参考訳（メタデータ） (2025-06-14T15:26:31Z)
• Towards Efficient Speech-Text Jointly Decoding within One Speech Language Model [76.06585781346601]
  音声言語モデル(Speech LMs)は、単一のモデル内でエンドツーエンドの音声テキストモデリングを可能にする。 音声テキストの共同復号パラダイムの選択は、性能、効率、アライメント品質において重要な役割を担っている。
  論文  参考訳（メタデータ） (2025-06-04T23:53:49Z)
• VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
  VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。 この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T04:09:44Z)
• Latent-Domain Predictive Neural Speech Coding [33.458968443594415]
  本稿では,VQ-VAEフレームワークに潜在ドメイン予測符号化を導入する。 本稿では,低レイテンシなニューラル音声符号化のためのTF-Codecをエンドツーエンドで提案する。 音声データセットの主観的な結果は、低レイテンシでは、提案したTF-Codecは1kbpsで9kbpsよりも大幅に品質が向上することを示している。
  論文  参考訳（メタデータ） (2022-07-18T03:18:08Z)
• Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
  音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。 具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。 既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
  論文  参考訳（メタデータ） (2021-10-11T00:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。