論文の概要: How Should We Extract Discrete Audio Tokens from Self-Supervised Models?

• arxiv url: http://arxiv.org/abs/2406.10735v1
• Date: Sat, 15 Jun 2024 20:43:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 21:01:13.398847
• Title: How Should We Extract Discrete Audio Tokens from Self-Supervised Models?
• Title（参考訳）: 自己監督型モデルから離散音声トークンを抽出する方法
• Authors: Pooneh Mousavi, Jarod Duret, Salah Zaiem, Luca Della Libera, Artem Ploujnikov, Cem Subakan, Mirco Ravanelli,
• Abstract要約: 本稿では,識別的および生成的タスクにまたがるセマンティックトークンの最適構成について検討する。 複数のSSL層にまたがるユニバーサルヴォコーダをトレーニングするためのスケーラブルなソリューションを提案する。
• 参考スコア（独自算出の注目度）: 15.03039528965825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete audio tokens have recently gained attention for their potential to bridge the gap between audio and language processing. Ideal audio tokens must preserve content, paralinguistic elements, speaker identity, and many other audio details. Current audio tokenization methods fall into two categories: Semantic tokens, acquired through quantization of Self-Supervised Learning (SSL) models, and Neural compression-based tokens (codecs). Although previous studies have benchmarked codec models to identify optimal configurations, the ideal setup for quantizing pretrained SSL models remains unclear. This paper explores the optimal configuration of semantic tokens across discriminative and generative tasks. We propose a scalable solution to train a universal vocoder across multiple SSL layers. Furthermore, an attention mechanism is employed to identify task-specific influential layers, enhancing the adaptability and performance of semantic tokens in diverse audio applications.
• Abstract（参考訳）: 離散音声トークンは、音声処理と言語処理のギャップを埋める可能性について最近注目を集めている。 理想的なオーディオトークンは、コンテンツ、パラ言語的要素、話者アイデンティティ、その他多くのオーディオの詳細を保存する必要がある。 現在の音声トークン化手法は,自己監視学習(SSL)モデルの量子化によって得られたセマンティックトークンと,ニューラル圧縮に基づくトークン(コーデック)の2つのカテゴリに分類される。 以前の研究では、最適な構成を特定するためにコーデックモデルをベンチマークしているが、事前訓練されたSSLモデルを定量化するための理想的な設定は不明確である。 本稿では,識別的および生成的タスクにまたがるセマンティックトークンの最適構成について検討する。 複数のSSL層にまたがるユニバーサルヴォコーダをトレーニングするためのスケーラブルなソリューションを提案する。 さらに、タスク固有の影響層を識別し、多様なオーディオアプリケーションにおけるセマンティックトークンの適応性と性能を高めるために、アテンションメカニズムを用いる。

関連論文リスト

• DC-Spin: A Speaker-invariant Speech Tokenizer for Spoken Language Models [45.791472119671916]
  音声言語モデル(SLM)はテキストと音声を処理し、同時に音声の理解と生成を可能にする。 DC-Spinは音声信号とSLMトークンをブリッジすることで音声のトークン化を改善することを目的としている。 本稿では,再学習や劣化を伴わずに,ストリーム可能なDC-Spinを実現するためのチャンクワイズ手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T17:43:13Z)
• TSELM: Target Speaker Extraction using Discrete Tokens and Language Models [5.187669487527287]
  TSELMは、離散トークンと言語モデルを活用する新しいターゲット話者抽出ネットワークである。 我々は,TSELMが音声品質の優れた結果と,音声の可聴性に匹敵する結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-12T08:41:07Z)
• CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens [49.569695524535454]
  本稿では, ベクトル量子化をエンコーダに挿入することにより, 多言語音声認識モデルから導出される, 教師付きセマンティックトークンを用いた音声表現を提案する。 トークンをベースとした拡張性のあるゼロショットTSシンセサイザーであるCosyVoiceは,テキスト・ツー・ツー・ケン生成のためのLLMと,トークン・ツー・音声合成のための条件付きフローマッチングモデルから構成される。
  論文  参考訳（メタデータ） (2024-07-07T15:16:19Z)
• DASB -- Discrete Audio and Speech Benchmark [12.02056212008393]
  我々は、様々なタスクで離散オーディオトークンをベンチマークするためのリーダーボードである、離散オーディオおよび音声ベンチマーク(DASB)をリリースする。 その結果, 意味トークンは, 識別的, 生成的タスクにおいて, 圧縮トークンよりも優れていた。 しかし、セマンティックトークンと標準的な連続表現の間のパフォーマンスのギャップは依然として大きい。
  論文  参考訳（メタデータ） (2024-06-20T13:23:27Z)
• C3LLM: Conditional Multimodal Content Generation Using Large Language Models [66.11184017840688]
  C3LLMは,ビデオ・トゥ・オーディオ,音声・テキスト,テキスト・トゥ・オーディオの3つのタスクを組み合わせた新しいフレームワークである。 C3LLMはLarge Language Model (LLM) 構造を異なるモダリティを整列するためのブリッジとして適合させる。 本手法は,従来の音声理解,ビデオ音声生成,テキスト音声生成のタスクを1つの統一モデルに統合する。
  論文  参考訳（メタデータ） (2024-05-25T09:10:12Z)
• BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
  自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。 本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。 最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。 そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
  論文  参考訳（メタデータ） (2022-12-18T10:41:55Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• AudioLM: a Language Modeling Approach to Audio Generation [59.19364975706805]
  本稿では,長期的整合性を有する高品質オーディオ生成フレームワークであるAudioLMを紹介する。 本稿では,既存の音声トークンが,再建品質と長期構造との間に異なるトレードオフをもたらすことを示す。 我々は,コヒーレントピアノ音楽の継続を生成することによって,我々のアプローチが音声を超えてどのように拡張されるかを実証する。
  論文  参考訳（メタデータ） (2022-09-07T13:40:08Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。