論文の概要: RingFormer: A Neural Vocoder with Ring Attention and Convolution-Augmented Transformer

• arxiv url: http://arxiv.org/abs/2501.01182v1
• Date: Thu, 02 Jan 2025 10:18:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:11:45.483745
• Title: RingFormer: A Neural Vocoder with Ring Attention and Convolution-Augmented Transformer
• Title（参考訳）: RingFormer: リングアテンションと畳み込み拡張トランスを備えたニューラルヴォコーダ
• Authors: Seongho Hong, Yong-Hoon Choi,
• Abstract要約: RingFormerは、リングアテンション機構を軽量変圧器、畳み込み強化変圧器(コンフォーマー)に組み込むニューラルボコーダである。 RingFormerは2つの差別者による敵の訓練で訓練されている。 実験の結果、RingFormerは既存のモデルに匹敵する、あるいは優れたパフォーマンスを実現していることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: While transformers demonstrate outstanding performance across various audio tasks, their application to neural vocoders remains challenging. Neural vocoders require the generation of long audio signals at the sample level, which demands high temporal resolution. This results in significant computational costs for attention map generation and limits their ability to efficiently process both global and local information. Additionally, the sequential nature of sample generation in neural vocoders poses difficulties for real-time processing, making the direct adoption of transformers impractical. To address these challenges, we propose RingFormer, a neural vocoder that incorporates the ring attention mechanism into a lightweight transformer variant, the convolution-augmented transformer (Conformer). Ring attention effectively captures local details while integrating global information, making it well-suited for processing long sequences and enabling real-time audio generation. RingFormer is trained using adversarial training with two discriminators. The proposed model is applied to the decoder of the text-to-speech model VITS and compared with state-of-the-art vocoders such as HiFi-GAN, iSTFT-Net, and BigVGAN under identical conditions using various objective and subjective metrics. Experimental results show that RingFormer achieves comparable or superior performance to existing models, particularly excelling in real-time audio generation. Our code and audio samples are available on GitHub.
• Abstract（参考訳）: トランスフォーマーは様々なオーディオタスクで優れたパフォーマンスを示すが、ニューラルボコーダへの応用は依然として困難である。 ニューラルヴォコーダはサンプルレベルで長い音声信号を生成する必要があり、高い時間分解能を必要とする。 これにより、アテンションマップ生成のための計算コストが大幅に削減され、グローバル情報とローカル情報の両方を効率的に処理する能力が制限される。 さらに、ニューラルボコーダにおけるサンプル生成のシーケンシャルな性質は、リアルタイム処理の困難を招き、トランスフォーマーの直接採用は現実的ではない。 これらの課題に対処するために、リングアテンション機構を軽量な変圧器、畳み込み強化変圧器(コンバータ)に組み込むニューラルネットワークボコーダRingFormerを提案する。 リングアテンションは、グローバル情報を統合しながら、局所的な詳細を効果的に捉え、長いシーケンスを処理し、リアルタイムオーディオ生成を可能にするのに適している。 RingFormerは2つの差別者による敵の訓練で訓練されている。 提案手法はテキスト音声モデルVITSの復号器に適用され,HiFi-GAN,iSTFT-Net,BigVGANといった最先端のボコーダと比較された。 実験の結果、RingFormerは既存のモデルに匹敵する、あるいは優れたパフォーマンスを実現していることがわかった。 コードとオーディオサンプルはGitHubで入手可能です。

関連論文リスト

• VNet: A GAN-based Multi-Tier Discriminator Network for Speech Synthesis Vocoders [14.222389985736422]
  VNetは、全帯域スペクトル情報を組み込んだGANベースのニューラルボコーダネットワークである。 VNetモデルは高忠実度音声を生成することができることを示す。
  論文  参考訳（メタデータ） (2024-08-13T14:00:02Z)
• Non-autoregressive real-time Accent Conversion model with voice cloning [0.0]
  我々は音声クローンを用いたリアルタイムアクセント変換のための非自己回帰モデルを開発した。 このモデルは入力L2音声に基づいて最小レイテンシでネイティブなL1音声を生成する。 このモデルは、話者の声の音色、性別、アクセントをリアルタイムで保存し、クローンし、変更することができる。
  論文  参考訳（メタデータ） (2024-05-21T19:07:26Z)
• From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
  深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。 これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。 低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-02T22:14:29Z)
• Diffsound: Discrete Diffusion Model for Text-to-sound Generation [78.4128796899781]
  本稿では,テキストエンコーダ,ベクトル量子化変分自動符号化(VQ-VAE),デコーダ,ボコーダからなる新しいテキスト音声生成フレームワークを提案する。 フレームワークは、まず、デコーダを使用して、テキストエンコーダから抽出したテキスト特徴をVQ-VAEの助けを借りてメルスペクトルに転送し、次いで、ボコーダを使用して生成されたメルスペクトルを波形に変換する。
  論文  参考訳（メタデータ） (2022-07-20T15:41:47Z)
• BigVGAN: A Universal Neural Vocoder with Large-Scale Training [49.16254684584935]
  ゼロショット設定において、様々な未知条件下でよく一般化する普遍的なボコーダであるBigVGANを提案する。 生成器に周期的非線形性とアンチエイリアス表現を導入し、波形に所望の帰納バイアスをもたらす。 我々はGANボコーダを最大1億2200万のパラメータで訓練する。
  論文  参考訳（メタデータ） (2022-06-09T17:56:10Z)
• RAVE: A variational autoencoder for fast and high-quality neural audio synthesis [2.28438857884398]
  本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。 我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-09T09:07:30Z)
• Timbre Transfer with Variational Auto Encoding and Cycle-Consistent Adversarial Networks [0.6445605125467573]
  本研究は,音源音の音色を目標音の音色に変換し,音質の低下を最小限に抑えた深層学習の音色伝達への適用について検討する。 この手法は、変分オートエンコーダとジェネレーティブ・アドバイサル・ネットワークを組み合わせて、音源の有意義な表現を構築し、ターゲット音声の現実的な世代を生成する。
  論文  参考訳（メタデータ） (2021-09-05T15:06:53Z)
• Conditioning Trick for Training Stable GANs [70.15099665710336]
  本稿では,GANトレーニング中の不安定性問題に対応するため,ジェネレータネットワークに正規性から逸脱する条件付け手法を提案する。 我々は、生成元をシュア分解のスペクトル領域で計算された実サンプルの正規化関数から逸脱するように強制する。
  論文  参考訳（メタデータ） (2020-10-12T16:50:22Z)
• Hierarchical Timbre-Painting and Articulation Generation [92.59388372914265]
  本稿では,f0と大音量に基づく高速かつ高忠実な楽曲生成手法を提案する。 合成音声は、対象楽器の音色及び調音を模倣する。
  論文  参考訳（メタデータ） (2020-08-30T05:27:39Z)
• Streaming automatic speech recognition with the transformer model [59.58318952000571]
  本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。 本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。 提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
  論文  参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。