論文の概要: Do Discrete Self-Supervised Representations of Speech Capture Tone Distinctions?

• arxiv url: http://arxiv.org/abs/2410.19935v1
• Date: Fri, 25 Oct 2024 19:13:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:21:28.873233
• Title: Do Discrete Self-Supervised Representations of Speech Capture Tone Distinctions?
• Title（参考訳）: 音声キャプチャ音の識別の自己監督的表現についての検討
• Authors: Opeyemi Osakuade, Simon King,
• Abstract要約: 我々は,マンダリンとヨルバの2つの例言語において,離散記号が声調を適切に捉えているかどうかを評価する。 離散シンボルを使用すると、言語仕様のSSLモデルであっても、トーン情報が著しく失われることがわかった。
• 参考スコア（独自算出の注目度）: 13.197705351799215
• License:
• Abstract: Discrete representations of speech, obtained from Self-Supervised Learning (SSL) foundation models, are widely used, especially where there are limited data for the downstream task, such as for a low-resource language. Typically, discretization of speech into a sequence of symbols is achieved by unsupervised clustering of the latents from an SSL model. Our study evaluates whether discrete symbols - found using k-means - adequately capture tone in two example languages, Mandarin and Yoruba. We compare latent vectors with discrete symbols, obtained from HuBERT base, MandarinHuBERT, or XLS-R, for vowel and tone classification. We find that using discrete symbols leads to a substantial loss of tone information, even for language-specialised SSL models. We suggest that discretization needs to be task-aware, particularly for tone-dependent downstream tasks.
• Abstract（参考訳）: 自己監視学習(SSL)基盤モデルから得られた音声の離散表現は、特に低リソース言語のような下流タスクの限られたデータが存在する場合に広く使用される。 通常、音声のシンボル列への離散化は、SSLモデルから潜伏者の教師なしクラスタリングによって達成される。 本研究は,k-meansを用いた離散記号が,マンダリンとヨルバの2つの例言語において,声調を適切に捉えているかどうかを評価する。 母音と声調の分類において,HuBERTベース,MandarinHuBERT,XLS-Rから得られた離散記号と潜在ベクトルを比較した。 離散シンボルを使用すると、言語仕様のSSLモデルであっても、トーン情報が著しく失われることがわかった。 我々は、特にトーン依存の下流タスクには、離散化はタスク認識が必要であることを示唆する。

関連論文リスト

• What Do Self-Supervised Speech and Speaker Models Learn? New Findings From a Cross Model Layer-Wise Analysis [44.93152068353389]
  自己教師付き学習(SSL)は、意味のある音声表現を学習するために注目を集めている。 話者SSLモデルは、主に話者表現のための発話レベルの訓練目標を採用する。
  論文  参考訳（メタデータ） (2024-01-31T07:23:22Z)
• Towards the extraction of robust sign embeddings for low resource sign language recognition [7.969704867355098]
  キーポイントベースの埋め込みは手話間を移動し、競争性能を達成することができることを示す。 さらに、ターゲット手話のみで訓練されたモデルよりも、微調整されたトランスポート埋め込みを用いて、より良い性能を実現する。
  論文  参考訳（メタデータ） (2023-06-30T11:21:40Z)
• Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations [30.293081541301746]
  wav2vecやHuBERTのような自己教師付き学習(SSL)音声モデルは、音声認識における最先端の性能を実証している。 この問題は,不整合表現の欠如と発話レベルの学習目標が原因である。 我々のモデルは、SUPERBベンチマークの全ての発話レベル非意味タスクにおいて、ラベル付きデータのわずか20%で、現在の最高のモデルであるWavLMより優れています。
  論文  参考訳（メタデータ） (2023-05-14T08:26:24Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• Combining Spectral and Self-Supervised Features for Low Resource Speech Recognition and Translation [27.857955394020475]
  自己教師付き学習(SSL)モデルは、様々なディープラーニングベースの音声タスクにうまく適用されている。 SSL表現の品質は、SSLトレーニングドメインとターゲットデータドメインの関連性に大きく依存します。 SFとSSLの表現を組み合わせるための学習可能かつ解釈可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-05T20:09:15Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Sign Language Recognition via Skeleton-Aware Multi-Model Ensemble [71.97020373520922]
  手話は一般的に、聴覚障害者やミュート人がコミュニケーションするために使われる。 孤立手話認識(SLR)のためのGlobal Ensemble Model(GEM)を用いた新しいマルチモーダルフレームワークを提案する。 提案するSAM-SLR-v2 フレームワークは極めて有効であり,最先端の性能を高いマージンで達成している。
  論文  参考訳（メタデータ） (2021-10-12T16:57:18Z)
• Multi-Modal Zero-Shot Sign Language Recognition [51.07720650677784]
  マルチモーダルなゼロショット手話認識モデルを提案する。 C3DモデルとともにTransformerベースのモデルを使用して手の検出と深い特徴抽出を行う。 意味空間は、視覚的特徴をクラスラベルの言語的な埋め込みにマッピングするために使用される。
  論文  参考訳（メタデータ） (2021-09-02T09:10:39Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• Variable-rate discrete representation learning [20.81400194698063]
  シーケンスの高レベルな可変レート離散表現の教師なし学習のための遅いオートエンコーダを提案する。 入力信号の正解情報の密度に応じて,結果のイベントベース表現が自動的に成長または縮小することを示す。 イベントベース表現モデリングのためのラン長変換器を開発し,音声領域における言語モデルの構築に使用する。
  論文  参考訳（メタデータ） (2021-03-10T14:42:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。