論文の概要: Pretrained self-supervised speech models can recognize unseen consonants

• arxiv url: http://arxiv.org/abs/2606.11542v1
• Date: Wed, 10 Jun 2026 01:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.228111
• Title: Pretrained self-supervised speech models can recognize unseen consonants
• Title（参考訳）: 事前訓練された自己教師型音声モデルが未知の子音を認識できる
• Authors: Chihiro Taguchi, Éric Le Ferrand, Hirosi Nakagawa, Hitomi Ono, Kanji Kato, Emily Prud'hommeaux, David Chiang,
• Abstract要約: 2つのクリックリッチなKhoisan言語のデータから、事前学習した自己教師付き音声モデルを比較し、比較する。 その結果、細調整されたモデルでは、クリック以外のモデルよりもクリックを正確に認識することがわかった。
• 参考スコア（独自算出の注目度）: 12.87864634250355
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern pretrained self-supervised automatic speech recognition models are trained on large-scale audio data to encode speech into contextualized representations. However, their training data are heavily skewed toward high-resource languages with little data from low-resource languages, raising concerns about the potential underrepresentation of typologically uncommon speech sounds such as click consonants primarily found in Khoisan languages. This leads to our central research question: Can these models recognize click consonants as accurately as other speech sounds? To address this question, we fine-tune and compare pretrained self-supervised speech models (Wav2Vec2 and HuBERT) on data from two click-rich Khoisan languages (G|ui and West !Xoon). Our results reveal that the fine-tuned models consistently recognize clicks more accurately than non-clicks, suggesting that self-supervision enables generalization across human speech sounds including rare phonemes.
• Abstract（参考訳）: 現代の事前学習型自己教師付き音声認識モデルは、大規模音声データに基づいて、文脈化された表現に音声をエンコードするように訓練されている。 しかし、その訓練データは低リソース言語からのデータが少ない高リソース言語に強く依存しており、主にホイザ語で見られるクリック子音のような、タイプミス的に一般的でない音声の表現不足が懸念されている。 これらのモデルは、他の音声と同じ精度でクリック子音を認識できますか? この問題に対処するために,2つのクリックリッチなホイザイ語(G|ui と West !Xoon)のデータに基づいて,事前学習した自己教師付き音声モデル(Wav2Vec2 と HuBERT)を比較した。 本結果から, 微調整モデルでは, 非クリックよりもクリックの精度が常に高いことが判明し, 稀な音素を含む音声音声の一般化が可能であることが示唆された。

関連論文リスト

• Analyzing the relationships between pretraining language, phonetic, tonal, and speaker information in self-supervised speech models [5.874344393486844]
  我々は4つの異なる言語でトレーニングされたwav2vec2モデルが、言語マッチングと非マッチング言語の両方をエンコードしているかを示す。 以上の結果から,wav2vec2で学習した表現の構造は,事前訓練で使用する音声素材と大きく異なることが示唆された。
  論文  参考訳（メタデータ） (2025-06-12T16:16:38Z)
• Improving Spoken Language Modeling with Phoneme Classification: A Simple Fine-tuning Approach [14.5696754689252]
  音声言語モデリングの最近の進歩は、音声から直接言語を学ぶことが可能であることを示している。 音素分類に基づく微調整音声表現モデルにより、より文脈不変な表現が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-16T10:29:15Z)
• Natural language guidance of high-fidelity text-to-speech with synthetic annotations [13.642358232817342]
  本稿では,話者識別,スタイル,記録条件の様々な側面をラベル付けするスケーラブルな手法を提案する。 次に、この手法を45k時間データセットに適用し、音声言語モデルを訓練する。 その結果, アクセント, 韻律スタイル, チャネル条件, 音響条件の多岐にわたる高忠実度音声生成が得られた。
  論文  参考訳（メタデータ） (2024-02-02T21:29:34Z)
• Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching [65.74653592668743]
  微細な自己教師型多言語表現は絶対単語誤り率を最大20%削減する。 訓練データに制限のある状況では、自己教師付き表現を微調整することが、より良いパフォーマンスと実行可能なソリューションである。
  論文  参考訳（メタデータ） (2023-11-25T17:05:21Z)
• Speech-to-Speech Translation with Discrete-Unit-Based Style Transfer [53.72998363956454]
  個別の自己教師付き表現を用いた音声音声合成(S2ST)は顕著な精度を達成している。 高品質な話者並列データの不足は、翻訳中にスタイル転送を学習する上での課題となる。 我々は、個別の自己教師付き音声表現と音色単位に基づいて、スタイル変換機能を備えたS2STパイプラインを設計する。
  論文  参考訳（メタデータ） (2023-09-14T09:52:08Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• Multilingual Zero Resource Speech Recognition Base on Self-Supervise Pre-Trained Acoustic Models [14.887781621924255]
  本稿では,事前学習モデルの使用を単語レベルのゼロリソース音声認識に拡張するための最初の試みである。 IPA音素の書き起こしで事前訓練されたモデルを微調整し、余分なテキストで訓練された言語モデルで復号する。 Wav2vec 2.0とHuBERTモデルの実験により、この手法は一部の言語で単語誤り率を20%以下に抑えることができることが示された。
  論文  参考訳（メタデータ） (2022-10-13T12:11:18Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)
• Towards Zero-shot Learning for Automatic Phonemic Transcription [82.9910512414173]
  より難しい問題は、トレーニングデータをゼロにする言語のための音素変換器を構築することだ。 我々のモデルは、トレーニングデータなしで、ターゲット言語で見知らぬ音素を認識できる。 標準的な多言語モデルよりも平均して7.7%の音素誤り率を実現している。
  論文  参考訳（メタデータ） (2020-02-26T20:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。