論文の概要: Universal Speech Token Learning via Low-Bitrate Neural Codec and Pretrained Representations

• arxiv url: http://arxiv.org/abs/2503.12115v1
• Date: Sat, 15 Mar 2025 12:50:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:28:26.754915
• Title: Universal Speech Token Learning via Low-Bitrate Neural Codec and Pretrained Representations
• Title（参考訳）: 低ビット型ニューラルコーデックと事前制約表現によるユニバーサル音声トークン学習
• Authors: Xue Jiang, Xiulian Peng, Yuan Zhang, Yan Lu,
• Abstract要約: 本稿では,2種類のトークンを統一し,音声のすべての意味をカプセル化する普遍的な音声トークン学習UniCodecを提案する。 低ビットレートのニューラルは、グローバルスケールとローカルスケールでこのような非交叉離散表現を学習するために利用され、自己教師付き学習特徴から知識を抽出する。
• 参考スコア（独自算出の注目度）: 23.059241057567956
• License:
• Abstract: Current large speech language models are mainly based on semantic tokens from discretization of self-supervised learned representations and acoustic tokens from a neural codec, following a semantic-modeling and acoustic-synthesis paradigm. However, semantic tokens discard paralinguistic attributes of speakers that is important for natural spoken communication, while prompt-based acoustic synthesis from semantic tokens has limits in recovering paralinguistic details and suffers from robustness issues, especially when there are domain gaps between the prompt and the target. This paper unifies two types of tokens and proposes the UniCodec, a universal speech token learning that encapsulates all semantics of speech, including linguistic and paralinguistic information, into a compact and semantically-disentangled unified token. Such a unified token can not only benefit speech language models in understanding with paralinguistic hints but also help speech generation with high-quality output. A low-bitrate neural codec is leveraged to learn such disentangled discrete representations at global and local scales, with knowledge distilled from self-supervised learned features. Extensive evaluations on multilingual datasets demonstrate its effectiveness in generating natural, expressive and long-term consistent output quality with paralinguistic attributes well preserved in several speech processing tasks.
• Abstract（参考訳）: 現在の大きな言語モデルは、主に意味論的モデリングと音響合成のパラダイムに従って、自己教師付き学習された表現とニューラルコーデックからの音響的トークンの離散化による意味的トークンに基づいている。 しかしセマンティックトークンは、自然な音声通信において重要な話者のパラ言語的属性を排除し、セマンティックトークンからの即時音響合成は、パラ言語的詳細の回復に限界があり、特にプロンプトとターゲットの間にドメインギャップがある場合、ロバスト性の問題に悩まされている。 本稿では,2種類のトークンを統一し,言語情報やパラ言語情報を含む音声のすべての意味を,コンパクトかつ意味的に異なる統一トークンにカプセル化するUniCodecを提案する。 このような統一トークンは、パラ言語的ヒントによる理解において、言語モデルに恩恵を与えるだけでなく、高品質な出力による音声生成にも役立てることができる。 低ビットレートのニューラルコーデックを用いて、グローバルスケールとローカルスケールで、このような不整合離散表現を学習し、自己教師付き学習特徴から知識を抽出する。 多言語データセットに対する広範囲な評価は、自然言語処理タスクでよく保存されたパラ言語的属性による自然な、表現的、長期的一貫した出力品質の生成の有効性を示す。

関連論文リスト

• DM-Codec: Distilling Multimodal Representations for Speech Tokenization [11.433520275513803]
  DM-Codecは文脈情報を含む言語モデル誘導蒸留法である。 WERは13.46%まで低下し、WILは9.82%、音声品質は5.84%向上し、LibriSpeechベンチマークデータセットでは1.85%向上した。
  論文  参考訳（メタデータ） (2024-10-19T07:14:14Z)
• Sylber: Syllabic Embedding Representation of Speech from Raw Audio [25.703703711031178]
  クリーンでロバストな音節構造を持つ音声表現を生成する新モデルSylberを提案する。 具体的には,Syllabicの埋め込みを自己教師なしのSyllabicセグメンテーションから抽出し,自己教師付き学習フレームワークを提案する。 1) 高速で線形な音節分割アルゴリズム,2) 平均4.27トークン毎の効率的な音節トークン化,3) 効率的な音声言語モデリングに適した新しい音韻単位,である。
  論文  参考訳（メタデータ） (2024-10-09T17:59:04Z)
• dMel: Speech Tokenization made Simple [19.169460770473908]
  メル-フィルターバンクチャネルを離散強度ビンに分割すると、単純な表現(dMel)が生成されることを示す。 本結果は,dMelが統合されたフレームワーク内の両方のタスクにおいて高い性能を実現する上で有効であることを示す。
  論文  参考訳（メタデータ） (2024-07-22T17:51:53Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• On decoder-only architecture for speech-to-text and large language model integration [59.49886892602309]
  Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。 我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-07-08T06:47:58Z)
• Disentangled Feature Learning for Real-Time Neural Speech Coding [24.751813940000993]
  本稿では,視覚的なエンドツーエンド学習の代わりに,リアルタイムなニューラル音声符号化のための非絡み合った特徴を学習することを提案する。 学習された不整合特徴は、現代の自己教師付き音声表現学習モデルを用いて、任意の音声変換において同等の性能を示す。
  論文  参考訳（メタデータ） (2022-11-22T02:50:12Z)
• Deep Neural Convolutive Matrix Factorization for Articulatory Representation Decomposition [48.56414496900755]
  この研究は、コンボリューティブスパース行列分解のニューラル実装を用いて、調音データを解釈可能なジェスチャーとジェスチャースコアに分解する。 音素認識実験も実施され、ジェスチャースコアが実際に音韻情報のコード化に成功していることが示された。
  論文  参考訳（メタデータ） (2022-04-01T14:25:19Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
  Wav-BERTは、協調的な音響および言語表現学習法である。 我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
  論文  参考訳（メタデータ） (2021-09-19T16:39:22Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning [11.552745999302905]
  7000の言語のうち、半数以上が絶滅の危機にさらされている。 音声に対応するテキスト翻訳は比較的容易である。 音声から言語表現を抽出できる畳み込みニューラルネットワークオーディオエンコーダを構築する。
  論文  参考訳（メタデータ） (2020-06-04T12:21:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。