論文の概要: RFWave: Multi-band Rectified Flow for Audio Waveform Reconstruction

• arxiv url: http://arxiv.org/abs/2403.05010v2
• Date: Sun, 2 Jun 2024 10:11:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-04 16:08:41.857648
• Title: RFWave: Multi-band Rectified Flow for Audio Waveform Reconstruction
• Title（参考訳）: RFWave:マルチバンド整流流による波形再構成
• Authors: Peng Liu, Dongyang Dai, Zhiyong Wu,
• Abstract要約: 本稿では,メルスペクトルや離散トークンから高忠実度音声波形を再構成する,最先端マルチバンド整流流法RFWaveを紹介する。 RFWaveは複雑なスペクトログラムを独自に生成し、フレームレベルで動作し、全てのサブバンドを同時に処理して効率を向上する。 実験により、RFWaveは優れた再構成品質を提供するだけでなく、計算効率も非常に優れており、GPU上でのオーディオ生成は、リアルタイムよりも97倍高速であることがわかった。
• 参考スコア（独自算出の注目度）: 12.64898580131053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in generative modeling have significantly enhanced the reconstruction of audio waveforms from various representations. While diffusion models are adept at this task, they are hindered by latency issues due to their operation at the individual sample point level and the need for numerous sampling steps. In this study, we introduce RFWave, a cutting-edge multi-band Rectified Flow approach designed to reconstruct high-fidelity audio waveforms from Mel-spectrograms or discrete tokens. RFWave uniquely generates complex spectrograms and operates at the frame level, processing all subbands simultaneously to boost efficiency. Leveraging Rectified Flow, which targets a flat transport trajectory, RFWave achieves reconstruction with just 10 sampling steps. Our empirical evaluations show that RFWave not only provides outstanding reconstruction quality but also offers vastly superior computational efficiency, enabling audio generation at speeds up to 97 times faster than real-time on a GPU. An online demonstration is available at: https://rfwave-demo.github.io/rfwave/.
• Abstract（参考訳）: 生成モデリングの最近の進歩は、様々な表現からの音声波形の再構成を著しく向上させてきた。 このタスクでは拡散モデルが有効であるが,個々のサンプル点レベルでの動作と多数のサンプリングステップの必要性により,遅延問題に悩まされる。 本研究では,Mel-spectrogramや離散トークンから高忠実度音声波形を再構成する,最先端マルチバンド整流流法RFWaveを提案する。 RFWaveは複雑なスペクトログラムを独自に生成し、フレームレベルで動作し、全てのサブバンドを同時に処理して効率を向上する。 平らな輸送路を狙った整流流を利用して、RFWaveはわずか10個のサンプリングステップで再構成を行う。 実験により、RFWaveは優れた再構成品質を提供するだけでなく、計算効率も非常に優れており、GPU上でのオーディオ生成は、リアルタイムよりも97倍高速であることがわかった。 オンラインデモは、https://rfwave-demo.github.io/rfwave/.comで公開されている。

関連論文リスト

• WaveDH: Wavelet Sub-bands Guided ConvNet for Efficient Image Dehazing [20.094839751816806]
  画像デハージングにおけるこの効率ギャップに対処するために設計された,新規でコンパクトなConvNetであるWaveDHを紹介する。 我々のWaveDHはウェーブレットサブバンドを利用して、誘導型アップ・アンド・ダウンサンプリングと周波数認識機能の改良を行う。 提案手法であるWaveDHは,計算コストを大幅に削減した画像デハージングベンチマークにおいて,最先端の多くの手法より優れている。
  論文  参考訳（メタデータ） (2024-04-02T02:52:05Z)
• WaveNeRF: Wavelet-based Generalizable Neural Radiance Fields [149.2296890464997]
  我々は、ウェーブレット周波数分解をMVSとNeRFに統合したWaveNeRFを設計する。 WaveNeRFは、3つの画像のみを入力として与えたときに、より優れた一般化可能な放射場モデリングを実現する。
  論文  参考訳（メタデータ） (2023-08-09T09:24:56Z)
• From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
  深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。 これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。 低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T22:14:29Z)
• WaveDM: Wavelet-Based Diffusion Models for Image Restoration [43.254438752311714]
  Wavelet-based Diffusion Model (WaveDM) は、ウェーブレット変換後の劣化画像のウェーブレットスペクトルに条件付きウェーブレット領域におけるクリーン画像の分布を学習する。 WaveDMは、従来のワンパス手法に匹敵する効率で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-23T08:41:04Z)
• Synthetic Wave-Geometric Impulse Responses for Improved Speech Dereverberation [69.1351513309953]
  室内インパルス応答 (RIR) の低周波成分を正確にシミュレートすることが, 良好な脱ヴァーベレーションを実現する上で重要であることを示す。 本研究では, ハイブリッド合成RIRで訓練された音声残響モデルが, 従来の幾何線トレーシング法により学習されたRIRで訓練されたモデルよりも優れていたことを示す。
  論文  参考訳（メタデータ） (2022-12-10T20:15:23Z)
• Wavelet Diffusion Models are fast and scalable Image Generators [3.222802562733787]
  拡散モデルは高忠実度画像生成のための強力な解であり、多くの状況においてGANを超える。 最近のDiffusionGAN法は、サンプリングステップの数を数千から数に減らして、モデルの実行時間を著しく短縮するが、その速度はGANよりもかなり遅れている。 本稿では,新しいウェーブレット拡散方式を提案することにより,速度ギャップを低減することを目的とする。 我々は、ウェーブレット分解により、画像と特徴レベルの両方から低周波数成分を抽出し、これらの成分を適応的に処理し、良好な生成品質を維持しながら高速に処理する。
  論文  参考訳（メタデータ） (2022-11-29T12:25:25Z)
• FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis [90.3069686272524]
  本稿では,高品質音声合成のための高速条件拡散モデルであるFastDiffを提案する。 FastDiffは、長期の依存関係を効率的にモデル化するために、さまざまな受容的フィールドパターンの時間認識可能な位置可変の畳み込みを使用する。 我々は、FastDiffに基づいて、高忠実度音声波形を生成するエンドツーエンドのテキスト音声合成器FastDiff-TTSを設計する。
  論文  参考訳（メタデータ） (2022-04-21T07:49:09Z)
• WaveFill: A Wavelet-based Generation Network for Image Inpainting [57.012173791320855]
  WaveFillはウェーブレットベースの塗装ネットワークで、画像を複数の周波数帯域に分解する。 WaveFillは、空間情報を自然に保存する離散ウェーブレット変換(DWT)を用いて画像を分解する。 低周波帯にL1再構成損失を、高周波帯に敵対損失を施し、それによって周波数間紛争を効果的に軽減する。
  論文  参考訳（メタデータ） (2021-07-23T04:44:40Z)
• DiffWave: A Versatile Diffusion Model for Audio Synthesis [35.406438835268816]
  DiffWaveは条件および非条件波形生成のための多目的拡散確率モデルである。 メルスペクトログラムに条件付けされたニューラル・ヴォイコーディングを含む、様々な波形生成タスクで高忠実なオーディオを生成する。 これは、非条件生成課題において、自己回帰およびGANベースの波形モデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-09-21T11:20:38Z)
• WaveGrad: Estimating Gradients for Waveform Generation [55.405580817560754]
  WaveGradは、データ密度の勾配を推定する波形生成の条件モデルである。 ガウスのホワイトノイズ信号から始まり、メル・スペクトログラムに条件付けされた勾配に基づくサンプリング器を通じて繰り返し信号の精製を行う。 6回の反復で高忠実度音声サンプルを生成できることが判明した。
  論文  参考訳（メタデータ） (2020-09-02T17:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。