論文の概要: Dissecting Sensitivity to Training Language in Self-Supervised Speech Learning Using Neural Audio Codec Tokens

• arxiv url: http://arxiv.org/abs/2607.26350v1
• Date: Tue, 28 Jul 2026 23:46:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.499392
• Title: Dissecting Sensitivity to Training Language in Self-Supervised Speech Learning Using Neural Audio Codec Tokens
• Title（参考訳）: ニューラル・オーディオ・コーデック・トークンを用いた自己監督型音声学習における学習言語に対する感性判別
• Abstract要約: 本研究では,NACトレーニング言語とSSL事前学習言語のいずれかを用いて,言語感受性の体系的解析を行う。 その結果、ダウンストリーム性能はNACトレーニング言語には感受性がないが、SSL事前トレーニング言語に強く依存していることがわかった。 これらの結果は、単一のNACを言語間で再利用できることを示唆し、SSL事前トレーニング言語とターゲット言語を整合させることが重要であることを示唆している。
• 参考スコア（独自算出の注目度）: 53.6274995041438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural audio codecs (NACs) have become popular for obtaining speech representations as discrete tokens. Beyond compression, discrete tokens can be used to train self-supervised learning (SSL) models. Such models, referred to as codec-based SSL models, reduce data storage and computational cost, enabling scalable SSL pre-training. However, their language sensitivity remains unclear. When the language changes, codec-based SSL models may require retraining, which undermines their efficiency. In this paper, we present a systematic analysis of language sensitivity by varying either the NAC training language or the SSL pre-training language while keeping the other fixed. Experimental results show that downstream performance is insensitive to the NAC training language but strongly dependent on the SSL pre-training language. These findings suggest that a single NAC can be reused across languages, while aligning the SSL pre-training language with the target language is crucial.
• Abstract（参考訳）: ニューラルオーディオコーデック(NAC)は、離散トークンとして音声表現を得るのに人気がある。 圧縮以外にも、離散トークンを使用して、自己教師付き学習(SSL)モデルをトレーニングすることもできる。 このようなモデルは、コーデックベースのSSLモデルと呼ばれ、データストレージと計算コストを削減し、スケーラブルなSSL事前トレーニングを可能にする。 しかし、その言語の感度は未定である。 言語が変更されると、コーデックベースのSSLモデルは再トレーニングを必要とし、効率を損なう可能性がある。 本稿では,NACトレーニング言語とSSL事前学習言語のいずれかを,他方を固定したまま変更することにより,言語感受性の体系的解析を行う。 実験の結果, ダウンストリーム性能はNACトレーニング言語には感受性がないが, SSL事前学習言語に強く依存していることがわかった。 これらの結果は、単一のNACを言語間で再利用できることを示唆し、SSL事前トレーニング言語とターゲット言語を整合させることが重要であることを示唆している。

関連論文リスト

• Scaling Spoken Language Models with Syllabic Speech Tokenization [17.835120807367677]
  音声言語モデル(SLM)は通常、SSL音声モデルから抽出された高フレームレートトークンに音声認識を行う。 近年のSSL研究は音節レベルでの音声の音響的トークン化を導入している。 Syllabicトークンは、トレーニングと推論コストを大幅に削減しながら、以前の高フレームレートトークンにマッチまたは超過することができる。
  論文  参考訳（メタデータ） (2025-09-30T17:59:09Z)
• Language Bias in Self-Supervised Learning For Automatic Speech Recognition [15.976590369684464]
  自己教師付き学習(SSL)は、データの高価なラベル付けを必要とせずに、大規模なデータセットでトレーニングするためにディープラーニングで使用される。 本稿では,XLS-Rにおける言語特化作業を特定し,様々な言語上での言語特化作業の性能を検証する。
  論文  参考訳（メタデータ） (2025-01-31T17:16:45Z)
• Joint Prediction and Denoising for Large-scale Multilingual Self-supervised Learning [69.77973092264338]
  我々は、より強力な技術がより効率的な事前トレーニングをもたらし、SSLをより多くの研究グループに開放することを示します。 我々は,WavLMのジョイント予測を拡張し,136言語にまたがる40k時間のデータをデノベーションするWavLabLMを提案する。 このモデルではXLS-Rの性能を94%維持でき、データの3%しか保持できない。
  論文  参考訳（メタデータ） (2023-09-26T23:55:57Z)
• SpeechGLUE: How Well Can Self-Supervised Speech Models Capture Linguistic Knowledge? [45.901645659694935]
  音声表現のための自己教師付き学習(SSL)は、様々な下流タスクにうまく適用されている。 本稿では,音声SSL技術が言語知識をうまく捉えることができるかどうかを明らかにすることを目的とする。
  論文  参考訳（メタデータ） (2023-06-14T09:04:29Z)
• Audio Self-supervised Learning: A Survey [60.41768569891083]
  SSL(Self-Supervised Learning)は、人間のアノテーションを必要とせずに、大規模データから一般的な表現を見つけることを目的としている。 コンピュータビジョンと自然言語処理の分野での成功により、近年では音声処理や音声処理の分野で採用されている。
  論文  参考訳（メタデータ） (2022-03-02T15:58:29Z)
• Mandarin-English Code-switching Speech Recognition with Self-supervised Speech Representation Models [55.82292352607321]
  コードスイッチング(英: Code-switching, CS)は、複数の言語が文内で使用される日常会話において一般的である。 本稿では、最近成功した自己教師付き学習(SSL)手法を用いて、CSを使わずに多くのラベルなし音声データを活用する。
  論文  参考訳（メタデータ） (2021-10-07T14:43:35Z)
• Continual-wav2vec2: an Application of Continual Learning for Self-Supervised Automatic Speech Recognition [0.23872611575805824]
  自己教師付き学習(SSL)を用いた複数言語における音声表現の連続学習法を提案する。 Wav2vecモデルは、事前トレーニングフェーズで生オーディオ上でSSLを実行し、アノテートされた少数のデータに対して微調整を行う。 新しい言語タスクの事前学習を高速化するために、継続学習からのアイデアを、以前のタスクから知識を伝達するために使用します。
  論文  参考訳（メタデータ） (2021-07-26T10:39:03Z)
• LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech [63.84741259993937]
  膨大なラベルのないデータを用いた自己教師付き学習(SSL)は、画像処理と自然言語処理に成功している。 最近の研究では、音声からSSLも調べた。 音声からSSLを評価する再現可能なフレームワークであるLeBenchmarkを提案する。
  論文  参考訳（メタデータ） (2021-04-23T08:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。