論文の概要: Unsupervised Speech Decomposition via Triple Information Bottleneck

• arxiv url: http://arxiv.org/abs/2004.11284v6
• Date: Sat, 13 Mar 2021 15:31:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 12:44:59.341086
• Title: Unsupervised Speech Decomposition via Triple Information Bottleneck
• Title（参考訳）: 三重情報を用いた教師なし音声分解
• Authors: Kaizhi Qian, Yang Zhang, Shiyu Chang, David Cox, Mark Hasegawa-Johnson
• Abstract要約: 音声情報は、言語内容、音色、ピッチ、リズムの4つの構成要素に大別できる。 本稿では,3つの慎重に設計された情報ボトルネックを導入することで,音声をその4つの構成要素に盲目的に分解できるSpeechSplitを提案する。
• 参考スコア（独自算出の注目度）: 63.55007056410914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech information can be roughly decomposed into four components: language content, timbre, pitch, and rhythm. Obtaining disentangled representations of these components is useful in many speech analysis and generation applications. Recently, state-of-the-art voice conversion systems have led to speech representations that can disentangle speaker-dependent and independent information. However, these systems can only disentangle timbre, while information about pitch, rhythm and content is still mixed together. Further disentangling the remaining speech components is an under-determined problem in the absence of explicit annotations for each component, which are difficult and expensive to obtain. In this paper, we propose SpeechSplit, which can blindly decompose speech into its four components by introducing three carefully designed information bottlenecks. SpeechSplit is among the first algorithms that can separately perform style transfer on timbre, pitch and rhythm without text labels. Our code is publicly available at https://github.com/auspicious3000/SpeechSplit.
• Abstract（参考訳）: 音声情報は、言語内容、音色、ピッチ、リズムの4つの構成要素に大別できる。 これらの成分の不整合表現は、多くの音声分析および生成アプリケーションで有用である。 近年,最先端音声変換システムでは,話者依存情報と独立情報とをアンタングルできる音声表現が実現している。 しかし、これらのシステムは音色だけを乱すことができ、ピッチ、リズム、内容に関する情報は依然として混ざり合っている。 残りの音声コンポーネントのさらなる分離は、各コンポーネントに対する明示的なアノテーションがない場合の未決定の問題であり、取得が困難で費用がかかる。 本稿では,注意深い3つの情報ボトルネックを導入することにより,音声をその4成分に盲目的に分解できる音声スプリットを提案する。 SpeechSplitは、テキストラベルなしで音色、ピッチ、リズムのスタイル転送を個別に実行できる最初のアルゴリズムの1つである。 私たちのコードはhttps://github.com/auspicious3000/SpeechSplit.comで公開されています。

関連論文リスト

• DisfluencySpeech -- Single-Speaker Conversational Speech Dataset with Paralanguage [7.096838107088313]
  DisfluencySpeechは、パラ言語でラベル付けされた英語の音声データセットである。 Switchboard-1 電話音声コーパス(Switchboard)から10時間近い表現的発話を再現する1つの話者
  論文  参考訳（メタデータ） (2024-06-13T05:23:22Z)
• Removing Speaker Information from Speech Representation using Variable-Length Soft Pooling [16.73336092521471]
  本稿では,音声の構造的性質を利用して話者情報を除去することを目的とする。 ニューラルネットワークはこれらの境界を予測し、イベントベースの表現抽出のための可変長プーリングを可能にする。 学習した表現が内容情報を含み、話者情報とは無関係であることを確認するため、リブリライトの音声ABXタスクとSUPERBの話者識別タスクを用いてモデルの評価を行った。
  論文  参考訳（メタデータ） (2024-04-01T01:49:09Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• Automatic Speech Disentanglement for Voice Conversion using Rank Module and Speech Augmentation [4.961389445237138]
  音声変換(VC)は、ソース音声の音声を、ソースの内容を維持しながらターゲットの音声に変換する。 本稿では,2つの拡張関数のみを用いて,音声を4成分に自動的に切り離すVCモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-21T13:28:06Z)
• UnifySpeech: A Unified Framework for Zero-shot Text-to-Speech and Voice Conversion [63.346825713704625]
  テキスト音声変換(TTS, Text-to-Speech)と音声変換(VC)は2つの異なるタスクであり, 音質の異なる音質で音声を合成することを目的としている。 本稿では,TSとVCを統合フレームワークに初めて導入するUnifySpeechを提案する。
  論文  参考訳（メタデータ） (2023-01-10T06:06:57Z)
• A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units [94.64927912924087]
  既存のシステムは韻律と言語内容の相関を無視し、変換された音声の自然度を低下させる。 自己教師付き離散音声単位を言語表現として活用するカスケードモジュラーシステムを提案する。 実験により,本システムは,自然性,知性,話者伝達性,韻律伝達性において,従来の手法よりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2022-11-12T00:54:09Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• SpeechSplit 2.0: Unsupervised speech disentanglement for voice conversion Without tuning autoencoder Bottlenecks [39.67320815230375]
  SpeechSplitは、複数のオートエンコーダを使用して、音声を内容、リズム、ピッチ、音色に切り離してアスペクト固有の音声変換を行うことができる。 本稿では,自動エンコーダの入力に対して,音声成分の情報の流れを拘束するSpeechSplit 2.0を提案する。
  論文  参考訳（メタデータ） (2022-03-26T21:01:26Z)
• Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
  我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。 まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。 最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
  論文  参考訳（メタデータ） (2021-11-14T18:16:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。