論文の概要: A Generative Model for Raw Audio Using Transformer Architectures

• arxiv url: http://arxiv.org/abs/2106.16036v1
• Date: Wed, 30 Jun 2021 13:05:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 19:38:45.859266
• Title: A Generative Model for Raw Audio Using Transformer Architectures
• Title（参考訳）: 変圧器アーキテクチャを用いた生音声生成モデル
• Authors: Prateek Verma, Chris Chafe
• Abstract要約: 本稿ではトランスフォーマーアーキテクチャを用いて波形レベルで音声合成を行う新しい手法を提案する。 本稿では,波形を生成するためのディープニューラルネットワークを提案する。 提案手法は,次のステップを予測するための類似データセットにおいて,広範に使用されているウェーブネットアーキテクチャを最大9%向上させる。
• 参考スコア（独自算出の注目度）: 4.594159253008448
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel way of doing audio synthesis at the waveform level using Transformer architectures. We propose a deep neural network for generating waveforms, similar to wavenet \cite{oord2016wavenet}. This is fully probabilistic, auto-regressive, and causal, i.e. each sample generated depends only on the previously observed samples. Our approach outperforms a widely used wavenet architecture by up to 9\% on a similar dataset for predicting the next step. Using the attention mechanism, we enable the architecture to learn which audio samples are important for the prediction of the future sample. We show how causal transformer generative models can be used for raw waveform synthesis. We also show that this performance can be improved by another 2\% by conditioning samples over a wider context. The flexibility of the current model to synthesize audio from latent representations suggests a large number of potential applications. The novel approach of using generative transformer architectures for raw audio synthesis is, however, still far away from generating any meaningful music, without using latent codes/meta-data to aid the generation process.
• Abstract（参考訳）: 本稿ではトランスフォーマーアーキテクチャを用いて波形レベルで音声合成を行う新しい手法を提案する。 本稿ではウェーブネットのような波形を生成するディープニューラルネットワークを提案する。 これは完全に確率的、自己回帰的、因果関係である。 生成されたサンプルは 前回のサンプルにのみ依存する。 我々のアプローチは、次のステップを予測するために、同様のデータセット上で、広く使われているwavenetアーキテクチャを最大9\%上回る。 注意機構を用いることで,今後のサンプル予測において,どの音声サンプルが重要かを知ることができる。 生波形合成に因果変圧器生成モデルをどのように利用できるかを示す。 また,より広い文脈でサンプルをコンディショニングすることで,この性能を2\%向上できることを示した。 潜在表現から音声を合成する現在のモデルの柔軟性は、多くの潜在的な応用を示唆している。 しかし、生音声合成に生成トランスフォーマーアーキテクチャを用いるという新しいアプローチは、生成プロセスを支援するために潜在コードやメタデータを使うことなく、意味のある音楽を生成するには程遠い。

関連論文リスト

• DiffAR: Denoising Diffusion Autoregressive Model for Raw Speech Waveform Generation [25.968115316199246]
  本研究では,生音声波形を生成する拡散確率的エンドツーエンドモデルを提案する。 我々のモデルは自己回帰的であり、重なり合うフレームを生成し、各フレームは以前に生成されたフレームの一部に条件付けされる。 実験により,提案モデルが他の最先端のニューラル音声生成システムと比較して,高品質な音声を生成することが示された。
  論文  参考訳（メタデータ） (2023-10-02T17:42:22Z)
• From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
  深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。 これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。 低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T22:14:29Z)
• RAVE: A variational autoencoder for fast and high-quality neural audio synthesis [2.28438857884398]
  本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。 我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-09T09:07:30Z)
• WaveGrad 2: Iterative Refinement for Text-to-Speech Synthesis [80.60577805727624]
  WaveGrad 2は音声合成のための非自己回帰生成モデルである。 最先端のニューラルTSシステムの性能に近づき、高忠実度オーディオを生成することができる。
  論文  参考訳（メタデータ） (2021-06-17T17:09:21Z)
• Audio Transformers:Transformer Architectures For Large Scale Audio Understanding. Adieu Convolutions [6.370905925442655]
  畳み込み層のないトランスフォーマーアーキテクチャを生音声信号に適用することを提案する。 私達のモデルは最先端の結果を作り出すためにconvolutionalモデルより優秀です。 畳み込みネットワークにインスパイアされたプーリングなどの手法を用いてトランスフォーマーアーキテクチャの性能をさらに向上する。
  論文  参考訳（メタデータ） (2021-05-01T19:38:30Z)
• End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks [54.43697805589634]
  GAN(Generative Adversarial Networks)に基づくエンドツーエンドビデオ音声合成モデルを提案する。 本モデルは,生映像を入力として受信し,音声を生成するエンコーダ・デコーダアーキテクチャで構成されている。 このモデルは,グリッドなどの制約付きデータセットに対して,顕著なリアリズムで音声を再構成できることを示す。
  論文  参考訳（メタデータ） (2021-04-27T17:12:30Z)
• WaveGrad: Estimating Gradients for Waveform Generation [55.405580817560754]
  WaveGradは、データ密度の勾配を推定する波形生成の条件モデルである。 ガウスのホワイトノイズ信号から始まり、メル・スペクトログラムに条件付けされた勾配に基づくサンプリング器を通じて繰り返し信号の精製を行う。 6回の反復で高忠実度音声サンプルを生成できることが判明した。
  論文  参考訳（メタデータ） (2020-09-02T17:44:10Z)
• Unconditional Audio Generation with Generative Adversarial Networks and Cycle Regularization [48.55126268721948]
  本稿では,歌声のメル-スペクトログラムの無条件生成のためのGANモデルを提案する。 我々は、時間次元のいくつかの構造を誘導するために、ジェネレータに階層的アーキテクチャーを用いる。 歌声生成だけでなく,歌声生成のための新モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2020-05-18T08:35:16Z)
• VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
  本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。 提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
  論文  参考訳（メタデータ） (2020-03-30T16:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。