論文の概要: From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion

• arxiv url: http://arxiv.org/abs/2308.02560v2
• Date: Wed, 8 Nov 2023 10:04:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 19:26:34.790832
• Title: From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion
• Title（参考訳）: 離散トークンからマルチバンド拡散を用いた高忠実度オーディオへ
• Authors: Robin San Roman and Yossi Adi and Antoine Deleforge and Romain Serizel and Gabriel Synnaeve and Alexandre D\'efossez
• Abstract要約: 深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。 これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。 低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 84.138804145918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models can generate high-fidelity audio conditioned on various types of representations (e.g., mel-spectrograms, Mel-frequency Cepstral Coefficients (MFCC)). Recently, such models have been used to synthesize audio waveforms conditioned on highly compressed representations. Although such methods produce impressive results, they are prone to generate audible artifacts when the conditioning is flawed or imperfect. An alternative modeling approach is to use diffusion models. However, these have mainly been used as speech vocoders (i.e., conditioned on mel-spectrograms) or generating relatively low sampling rate signals. In this work, we propose a high-fidelity multi-band diffusion-based framework that generates any type of audio modality (e.g., speech, music, environmental sounds) from low-bitrate discrete representations. At equal bit rate, the proposed approach outperforms state-of-the-art generative techniques in terms of perceptual quality. Training and, evaluation code, along with audio samples, are available on the facebookresearch/audiocraft Github page.
• Abstract（参考訳）: 深層生成モデルは、様々な種類の表現(メルスペクトル、メル周波数ケプストラル係数(MFCC)など)で条件付けられた高忠実なオーディオを生成することができる。 近年、そのようなモデルは、高度に圧縮された表現に基づく音声波形の合成に使われている。 このような手法は印象的な結果をもたらすが、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。 別のモデリング手法は拡散モデルを使用することである。 しかし、これらは主に音声ボコーダ(メルスペクトログラムの条件付け)として使われ、比較的低いサンプリングレートの信号を生成する。 本研究では,低ビットの離散表現から任意の種類のオーディオモダリティ(音声,音楽,環境音など)を生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。 等価ビットレートでは、提案手法は知覚品質の観点から最先端の生成技術より優れる。 トレーニングと評価コード、オーディオサンプルはfacebookresearch/audiocraft Githubのページで公開されている。

関連論文リスト

• SpecDiff-GAN: A Spectrally-Shaped Noise Diffusion GAN for Speech and Music Synthesis [0.0]
  本稿では,HiFi-GANに基づくニューラルボコーダSpecDiff-GANを紹介する。 いくつかのデータセットに対して,提案モデルによる音声合成と音楽合成の利点を示す。
  論文  参考訳（メタデータ） (2024-01-30T09:17:57Z)
• DiffAR: Denoising Diffusion Autoregressive Model for Raw Speech Waveform Generation [25.968115316199246]
  本研究では,生音声波形を生成する拡散確率的エンドツーエンドモデルを提案する。 我々のモデルは自己回帰的であり、重なり合うフレームを生成し、各フレームは以前に生成されたフレームの一部に条件付けされる。 実験により,提案モデルが他の最先端のニューラル音声生成システムと比較して,高品質な音声を生成することが示された。
  論文  参考訳（メタデータ） (2023-10-02T17:42:22Z)
• AudioToken: Adaptation of Text-Conditioned Diffusion Models for Audio-to-Image Generation [89.63430567887718]
  そこで本研究では,テキスト・ツー・イメージ・ジェネレーションのために訓練された潜時拡散モデルを用いて,音声記録に条件付き画像を生成する手法を提案する。 提案手法は,事前学習された音声符号化モデルを用いて,音声とテキストの表現の適応層とみなすことができる新しいトークンに音声を符号化する。
  論文  参考訳（メタデータ） (2023-05-22T14:02:44Z)
• BigVGAN: A Universal Neural Vocoder with Large-Scale Training [49.16254684584935]
  ゼロショット設定において、様々な未知条件下でよく一般化する普遍的なボコーダであるBigVGANを提案する。 生成器に周期的非線形性とアンチエイリアス表現を導入し、波形に所望の帰納バイアスをもたらす。 我々はGANボコーダを最大1億2200万のパラメータで訓練する。
  論文  参考訳（メタデータ） (2022-06-09T17:56:10Z)
• SpecGrad: Diffusion Probabilistic Model based Neural Vocoder with Adaptive Noise Spectral Shaping [51.698273019061645]
  SpecGradは拡散雑音に適応し、その時間変化スペクトル包絡が条件付き対数メル分光器に近づく。 時間周波数領域で処理され、計算コストは従来のDDPMベースのニューラルボコーダとほぼ同じである。
  論文  参考訳（メタデータ） (2022-03-31T02:08:27Z)
• RAVE: A variational autoencoder for fast and high-quality neural audio synthesis [2.28438857884398]
  本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。 我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-09T09:07:30Z)
• CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis [0.0]
  非条件生音声合成のための新しいスコアベース生成モデルを提案する。 提案手法は,よりフレキシブルな生成機能を提供しながら,生音声におけるGANベースの手法とのギャップを埋める。
  論文  参考訳（メタデータ） (2021-06-14T13:48:03Z)
• Universal MelGAN: A Robust Neural Vocoder for High-Fidelity Waveform Generation in Multiple Domains [1.8047694351309207]
  複数のドメインで高忠実度音声を合成するボコーダであるUniversal MelGANを提案する。 MelGANベースの構造は、数百人の話者のデータセットでトレーニングされている。 生成波形のスペクトル分解能を高めるために,マルチレゾリューション・スペクトログラム・ディミネータを追加した。
  論文  参考訳（メタデータ） (2020-11-19T03:35:45Z)
• WaveGrad: Estimating Gradients for Waveform Generation [55.405580817560754]
  WaveGradは、データ密度の勾配を推定する波形生成の条件モデルである。 ガウスのホワイトノイズ信号から始まり、メル・スペクトログラムに条件付けされた勾配に基づくサンプリング器を通じて繰り返し信号の精製を行う。 6回の反復で高忠実度音声サンプルを生成できることが判明した。
  論文  参考訳（メタデータ） (2020-09-02T17:44:10Z)
• Real Time Speech Enhancement in the Waveform Domain [99.02180506016721]
  本稿では,ラップトップCPU上でリアルタイムに動作する生波形を用いた因果音声強調モデルを提案する。 提案モデルは、スキップ接続を持つエンコーダデコーダアーキテクチャに基づいている。 静止ノイズや非定常ノイズを含む様々な背景ノイズを除去することができる。
  論文  参考訳（メタデータ） (2020-06-23T09:19:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。