論文の概要: High Fidelity Neural Audio Compression
- arxiv url: http://arxiv.org/abs/2210.13438v1
- Date: Mon, 24 Oct 2022 17:52:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 14:49:39.483959
- Title: High Fidelity Neural Audio Compression
- Title（参考訳）: 高忠実性ニューラルオーディオ圧縮
- Authors: Alexandre D\'efossez, Jade Copet, Gabriel Synnaeve, Yossi Adi
- Abstract要約: 我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。
ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。
単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
- 参考スコア（独自算出の注目度）: 92.4812002532009
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a state-of-the-art real-time, high-fidelity, audio codec
leveraging neural networks. It consists in a streaming encoder-decoder
architecture with quantized latent space trained in an end-to-end fashion. We
simplify and speed-up the training by using a single multiscale spectrogram
adversary that efficiently reduces artifacts and produce high-quality samples.
We introduce a novel loss balancer mechanism to stabilize training: the weight
of a loss now defines the fraction of the overall gradient it should represent,
thus decoupling the choice of this hyper-parameter from the typical scale of
the loss. Finally, we study how lightweight Transformer models can be used to
further compress the obtained representation by up to 40%, while staying faster
than real time. We provide a detailed description of the key design choices of
the proposed model including: training objective, architectural changes and a
study of various perceptual loss functions. We present an extensive subjective
evaluation (MUSHRA tests) together with an ablation study for a range of
bandwidths and audio domains, including speech, noisy-reverberant speech, and
music. Our approach is superior to the baselines methods across all evaluated
settings, considering both 24 kHz monophonic and 48 kHz stereophonic audio.
Code and models are available at github.com/facebookresearch/encodec.
- Abstract（参考訳）: ニューラルネットワークを利用した最先端のリアルタイム高忠実オーディオコーデックを提案する。
ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成される。
本研究では,単一のマルチスケール・スペクトログラム・アドバイザリーを用いて,効率的にアーティファクトを削減し,高品質なサンプルを生成することにより,トレーニングを簡素化し,高速化する。
損失の重みが表すべき全体的な勾配の分断を定義することで、この超パラメータの選択を典型的な損失のスケールから切り離すことができる。
最後に, 軽量トランスフォーマーモデルを用いて, 得られた表現を最大40%圧縮し, リアルタイムよりも高速に処理できることを示す。
提案モデルの主要な設計選択について, 学習目標, 建築的変化, 知覚的損失関数の研究などについて, 詳細な説明を行う。
広汎な主観評価(MUSHRAテスト)と,音声,雑音・残響音声,音楽など,幅広い帯域幅と音声領域に対するアブレーション実験を併用して提案する。
提案手法は,24kHzのモノフォニックと48kHzのステレオオーディオの両方を考慮し,すべての評価設定のベースライン手法よりも優れている。
コードとモデルはgithub.com/facebookresearch/encodecで入手できる。
関連論文リスト
- WavTokenizer: an Efficient Acoustic Discrete Codec Tokenizer for Audio Language Modeling [65.30937248905958]
言語モデルの重要な構成要素は、高次元の自然信号を低次元の離散トークンに圧縮するトークン化器である。
本稿では,従来の音響領域におけるSOTA音響モデルよりもいくつかの利点があるWavTokenizerを紹介する。
WavTokenizerは、優れたUTMOSスコアを持つ最先端の再構築品質を実現し、本質的によりリッチなセマンティック情報を含んでいる。
論文 参考訳（メタデータ） (2024-08-29T13:43:36Z) - From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。
これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。
低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
論文 参考訳（メタデータ） (2023-08-02T22:14:29Z) - RAVE: A variational autoencoder for fast and high-quality neural audio
synthesis [2.28438857884398]
本稿では,高速かつ高品質な音声波形合成が可能なリアルタイムオーディオ変分自動エンコーダ(RAVE)を提案する。
我々のモデルは48kHzのオーディオ信号を生成できる最初のモデルであり、同時に標準のラップトップCPU上で20倍高速に動作可能であることを示す。
論文 参考訳（メタデータ） (2021-11-09T09:07:30Z) - Audio Spectral Enhancement: Leveraging Autoencoders for Low Latency
Reconstruction of Long, Lossy Audio Sequences [0.0]
本稿では,低品質MP3音声波の長いシーケンスから高周波数を再構成するための新しい手法を提案する。
本アーキテクチャは,スキップ接続による音声波のスペクトル構造を保ちながら,いくつかのボトルネックを生じさせる。
差分量子化手法を用いて初期モデルのサイズを半減し、同時に推論時間を短縮する方法を示す。
論文 参考訳（メタデータ） (2021-08-08T18:06:21Z) - SoundStream: An End-to-End Neural Audio Codec [78.94923131038682]
本稿では,音声,音楽,一般音声を効率よく圧縮できる新しいニューラルオーディオシステムSoundStreamを紹介する。
SoundStreamは完全な畳み込みエンコーダ/デコーダネットワークと残留ベクトル量子化器に頼っている。
エンコーダまたはデコーダ側で、追加のレイテンシなしで、共同圧縮と拡張を行うことができます。
論文 参考訳（メタデータ） (2021-07-07T15:45:42Z) - Psychoacoustic Calibration of Loss Functions for Efficient End-to-End
Neural Audio Coding [30.307627653506756]
ニューラルオーディオ符号化システムの損失関数を再定義するための心理音響校正方式を提案する。
提案手法では、わずか0.9万パラメータの軽量ニューラルネットワークが、商用mpeg-1オーディオ層iiiに匹敵するほぼ透過的なオーディオ符号化を112kbpsで実行する。
論文 参考訳（メタデータ） (2020-12-31T19:46:46Z) - Ultra-low bitrate video conferencing using deep image animation [7.263312285502382]
ビデオ会議のための超低速ビデオ圧縮のための新しい深層学習手法を提案する。
我々はディープニューラルネットワークを用いて、動き情報をキーポイント変位として符号化し、デコーダ側で映像信号を再構成する。
論文 参考訳（メタデータ） (2020-12-01T09:06:34Z) - Hierarchical Timbre-Painting and Articulation Generation [92.59388372914265]
本稿では,f0と大音量に基づく高速かつ高忠実な楽曲生成手法を提案する。
合成音声は、対象楽器の音色及び調音を模倣する。
論文 参考訳（メタデータ） (2020-08-30T05:27:39Z) - Content Adaptive and Error Propagation Aware Deep Video Compression [110.31693187153084]
本稿では,コンテンツ適応型・誤り伝搬対応型ビデオ圧縮システムを提案する。
本手法では, 複数フレームの圧縮性能を1フレームではなく複数フレームで考慮し, 共同学習手法を用いる。
従来の圧縮システムでは手作りのコーディングモードを使用する代わりに,オンラインエンコーダ更新方式をシステム内に設計する。
論文 参考訳（メタデータ） (2020-03-25T09:04:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。