Fugu-MT 論文翻訳(概要): Neural Waveshaping Synthesis

論文の概要: Neural Waveshaping Synthesis

arxiv url: http://arxiv.org/abs/2107.05050v1
Date: Sun, 11 Jul 2021 13:50:59 GMT
ステータス: 処理完了
システム内更新日: 2021-07-13 15:38:52.785268
Title: Neural Waveshaping Synthesis
Title（参考訳）: ニューラルウェーブシェイピング合成
Authors: Ben Hayes, Charalampos Saitis, Gy\"orgy Fazekas
Abstract要約: ニューラルオーディオ合成に対する,新しい,軽量で完全な因果的アプローチを提案する。ニューラルウェーブシェイピングユニット(NEWT)は、波形領域で直接動作する。入力信号と出力信号の単純なアフィン変換によって複雑な鼓膜進化を生成する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present the Neural Waveshaping Unit (NEWT): a novel, lightweight, fully causal approach to neural audio synthesis which operates directly in the waveform domain, with an accompanying optimisation (FastNEWT) for efficient CPU inference. The NEWT uses time-distributed multilayer perceptrons with periodic activations to implicitly learn nonlinear transfer functions that encode the characteristics of a target timbre. Once trained, a NEWT can produce complex timbral evolutions by simple affine transformations of its input and output signals. We paired the NEWT with a differentiable noise synthesiser and reverb and found it capable of generating realistic musical instrument performances with only 260k total model parameters, conditioned on F0 and loudness features. We compared our method to state-of-the-art benchmarks with a multi-stimulus listening test and the Fr\'echet Audio Distance and found it performed competitively across the tested timbral domains. Our method significantly outperformed the benchmarks in terms of generation speed, and achieved real-time performance on a consumer CPU, both with and without FastNEWT, suggesting it is a viable basis for future creative sound design tools.
Abstract（参考訳）: ニューラルウェーブシェーピングユニット (NEWT) は, 波形領域で直接動作するニューラルオーディオ合成に対して, 高速なCPU推論のためのアタッチメント最適化 (FastNEWT) を備えた, 軽量で完全な因果的アプローチである。 NEWTは周期的なアクティベーションを持つ時間分散多層パーセプトロンを使用して、ターゲットの音色の特徴を符号化する非線形伝達関数を暗黙的に学習する。訓練されると、ニュートは入力信号と出力信号の単純なアフィン変換によって複雑な音節の進化を生み出すことができる。 NEWTと差別化可能なノイズ合成器を組み合わせて残響を行い、260kの総モデルパラメータしか持たない現実的な楽器演奏をF0と大音量で再現できることを発見した。提案手法を,マルチ刺激聴取テストとFr'echet Audio Distanceと比較したところ,テストされた音節領域間で競合する性能を示した。提案手法は, 生成速度のベンチマークを著しく上回り, 高速更新の有無に関わらず, 消費者cpu上でのリアルタイム性能を実現し, 将来的な創造的音響設計ツールの基盤となることを示唆する。

関連論文リスト

Boosting Fast and High-Quality Speech Synthesis with Linear Diffusion [85.54515118077825]
本稿では, 常微分方程式に基づく線形拡散モデル(LinDiff)を提案する。計算複雑性を低減するため、LinDiffでは、入力信号を小さなパッチに分割するパッチベースの処理アプローチを採用している。我々のモデルは、より高速な合成速度で自己回帰モデルに匹敵する品質の音声を合成することができる。
論文参考訳（メタデータ） (2023-06-09T07:02:43Z)
An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms [2.3204178451683264]
音声処理アプリケーションでは、ハイレベルな表現に基づく表現力のある音声の生成は、高い需要を示す。ニューラルネットワークのような現代のアルゴリズムは、楽器の圧縮に基づく表現型シンセサイザーの開発にインスピレーションを与えている。本研究では,多種多様な楽器に対する時間周波数音声表現の圧縮のための畳み込み畳み込みオートエンコーダについて検討した。
論文参考訳（メタデータ） (2023-01-18T17:19:04Z)
Synthesizer Preset Interpolation using Transformer Auto-Encoders [4.213427823201119]
本稿では,マルチヘッドアテンションブロックを用いてプリセットを同時に処理するバイモーダルオートエンコーダニューラルネットワークと,畳み込みを用いたオーディオを導入する。このモデルは、100以上のパラメータを持つ一般的な周波数変調シンセサイザーでテストされている。トレーニング後、提案したモデルは、ライブまたはサウンドデザインタスクのための商用シンセサイザーに統合することができる。
論文参考訳（メタデータ） (2022-10-27T15:20:18Z)
FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis [90.3069686272524]
本稿では,高品質音声合成のための高速条件拡散モデルであるFastDiffを提案する。 FastDiffは、長期の依存関係を効率的にモデル化するために、さまざまな受容的フィールドパターンの時間認識可能な位置可変の畳み込みを使用する。我々は、FastDiffに基づいて、高忠実度音声波形を生成するエンドツーエンドのテキスト音声合成器FastDiff-TTSを設計する。
論文参考訳（メタデータ） (2022-04-21T07:49:09Z)
NeuralDPS: Neural Deterministic Plus Stochastic Model with Multiband Excitation for Noise-Controllable Waveform Generation [67.96138567288197]
本稿では,高い音声品質を保ち,高い合成効率とノイズ制御性を得ることができるニューラルDPSというニューラルボコーダを提案する。ウェーブネットのボコーダより少なくとも280倍高速な波形を生成する。また、単一コア上でのWaveGANの合成効率よりも28%高速である。
論文参考訳（メタデータ） (2022-03-05T08:15:29Z)
RAVE: A variational autoencoder for fast and high-quality neural audio synthesis [2.28438857884398]
本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
論文参考訳（メタデータ） (2021-11-09T09:07:30Z)
Conditional Sound Generation Using Neural Discrete Time-Frequency Representation Learning [42.95813372611093]
本稿では,ニューラル離散時間周波数表現学習を用いて,音のクラスに調和した音を生成することを提案する。これにより、長い範囲の依存関係をモデル化し、音クリップ内に局所的なきめ細かい構造を保持するという利点がある。
論文参考訳（メタデータ） (2021-07-21T10:31:28Z)
Deep Convolutional and Recurrent Networks for Polyphonic Instrument Classification from Monophonic Raw Audio Waveforms [30.3491261167433]
サウンドイベント検出とオーディオ分類タスクは、伝統的にスペクトログラムなどのオーディオ信号の時間周波数表現を通じて対処されます。効率的な特徴抽出器としてのディープニューラルネットワークは、分類目的にオーディオ信号を直接使用可能にする。生の波形を深層学習モデルに入力するだけで,ポリフォニック・オーディオで楽器を認識する。
論文参考訳（メタデータ） (2021-02-13T13:44:46Z)
Fast accuracy estimation of deep learning based multi-class musical source separation [79.10962538141445]
本稿では,ニューラルネットワークのトレーニングやチューニングを行うことなく,任意のデータセットにおける楽器の分離性を評価する手法を提案する。理想的な比マスクを持つオラクルの原理に基づいて、我々の手法は最先端のディープラーニング手法の分離性能を推定するための優れたプロキシである。
論文参考訳（メタデータ） (2020-10-19T13:05:08Z)
Real Time Speech Enhancement in the Waveform Domain [99.02180506016721]
本稿では,ラップトップCPU上でリアルタイムに動作する生波形を用いた因果音声強調モデルを提案する。提案モデルは、スキップ接続を持つエンコーダデコーダアーキテクチャに基づいている。静止ノイズや非定常ノイズを含む様々な背景ノイズを除去することができる。
論文参考訳（メタデータ） (2020-06-23T09:19:13Z)
VaPar Synth -- A Variational Parametric Model for Audio Synthesis [78.3405844354125]
本稿では,条件付き変分オートエンコーダ(CVAE)を用いた変分パラメトリックシンセサイザVaPar Synthを提案する。提案するモデルの性能は,ピッチを柔軟に制御した楽器音の再構成と生成によって実証する。
論文参考訳（メタデータ） (2020-03-30T16:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。