Fugu-MT 論文翻訳(概要): Compression of Higher Order Ambisonics with Multichannel RVQGAN

論文の概要: Compression of Higher Order Ambisonics with Multichannel RVQGAN

arxiv url: http://arxiv.org/abs/2411.12008v3
Date: Wed, 11 Dec 2024 20:34:25 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-13 17:00:12.215743
Title: Compression of Higher Order Ambisonics with Multichannel RVQGAN
Title（参考訳）: 多チャンネルRVQGANによる高次アンモニクスの圧縮
Authors: Toni Hirvonen, Mahmoud Namazi,
Abstract要約: RVQGANニューラルコーディング法のマルチチャネル拡張を提案し,3次Ambisonics音声のデータ駆動圧縮を実現する。このモデルには、他のタイプのコンテンツやマルチチャネルフォーマットを学ぶための潜在的な応用がある。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: A multichannel extension to the RVQGAN neural coding method is proposed, and realized for data-driven compression of third-order Ambisonics audio. The input- and output layers of the generator and discriminator models are modified to accept multiple (16) channels without increasing the model bitrate. We also propose a loss function for accounting for spatial perception in immersive reproduction, and transfer learning from single-channel models. Listening test results with 7.1.4 immersive playback show that the proposed extension is suitable for coding scene-based, 16-channel Ambisonics content with good quality at 16 kbps when trained and tested on the EigenScape database. The model has potential applications for learning other types of content and multichannel formats.
Abstract（参考訳）: RVQGANニューラルコーディング手法のマルチチャネル拡張を提案し,3次Ambisonics音声のデータ駆動圧縮を実現する。ジェネレータおよび判別器モデルの入力層と出力層は、モデルビットレートを増大させることなく、複数の(16)チャネルを受け入れるように修正される。また,入射再生における空間知覚を考慮した損失関数を提案し,単一チャネルモデルからの伝達学習を行う。 7.1.4の没入型再生による聴力試験の結果,提案手法は,EigenScapeデータベース上でトレーニングおよびテストを行う際に,16kbpsで高品質な16チャンネルのアンビニクスコンテンツに適していることが示された。このモデルには、他のタイプのコンテンツやマルチチャネルフォーマットを学ぶための潜在的な応用がある。

関連論文リスト

VRVQ: Variable Bitrate Residual Vector Quantization for Audio Compression [29.368893236587343]
最近のニューラルオーディオ圧縮モデルでは、残留ベクトル量子化(RVQ)が徐々に採用されているこれらのモデルはフレーム毎に一定数のコードブックを使用し、レート・歪曲トレードオフの点では最適である。本稿では,音声コーデックの可変RVQ (VRVQ) を提案する。
論文参考訳（メタデータ） (2024-10-08T13:18:24Z)
HPC: Hierarchical Progressive Coding Framework for Volumetric Video [39.403294185116]
ニューラルレージアンスフィールド(NeRF)に基づくボリュームビデオは、様々な3Dアプリケーションに対して大きな可能性を秘めている。現在のNeRF圧縮は、ビデオ品質を調整できる柔軟性に欠けており、様々なネットワークやデバイス能力のための単一のモデル内である。単一モデルを用いて可変性を実現する新しい階層型プログレッシブビデオ符号化フレームワークであるHPCを提案する。
論文参考訳（メタデータ） (2024-07-12T06:34:24Z)
From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion [84.138804145918]
深層生成モデルは、様々な種類の表現で条件付けられた高忠実度オーディオを生成することができる。これらのモデルは、条件付けに欠陥がある場合や不完全な場合、可聴アーチファクトを生成する傾向がある。低ビットレート離散表現から任意の種類のオーディオモダリティを生成する高忠実度マルチバンド拡散ベースフレームワークを提案する。
論文参考訳（メタデータ） (2023-08-02T22:14:29Z)
High Fidelity Neural Audio Compression [92.4812002532009]
我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
論文参考訳（メタデータ） (2022-10-24T17:52:02Z)
Denoising Diffusion Error Correction Codes [92.10654749898927]
近年、ニューラルデコーダは古典的デコーダ技術に対する優位性を実証している。最近の最先端のニューラルデコーダは複雑で、多くのレガシデコーダの重要な反復的スキームが欠如している。本稿では,任意のブロック長の線形符号のソフトデコードにデノナイズ拡散モデルを適用することを提案する。
論文参考訳（メタデータ） (2022-09-16T11:00:50Z)
Cross-Scale Vector Quantization for Scalable Neural Speech Coding [22.65761249591267]
ビットレートスケーラビリティは、リアルタイム通信においてオーディオコーディングに望ましい機能である。本稿では,クロススケールな拡張型ベクトル量子化スキーム(CSVQ)を提案する。このように、ビットストリームの一部しか受信していない場合、粗いレベル信号が再構成され、より多くのビットが利用可能になるにつれて、徐々に品質が向上する。
論文参考訳（メタデータ） (2022-07-07T03:23:25Z)
Lossy Compression with Gaussian Diffusion [28.930398810600504]
非条件拡散生成モデルに基づく新しい損失圧縮手法DiffCについて述べる。エンコーダ変換の欠如にもかかわらず、概念実証を実装し、驚くほどうまく機能することを発見した。流れに基づく再構築は,祖先サンプリングよりも高頻度で3dBのゲインを達成できることを示す。
論文参考訳（メタデータ） (2022-06-17T16:46:31Z)
Multi-Channel End-to-End Neural Diarization with Distributed Microphones [53.99406868339701]
EENDのTransformerエンコーダを,マルチチャネル入力を処理する2種類のエンコーダに置き換える。また,単一チャンネル記録のみを用いたモデル適応手法を提案する。
論文参考訳（メタデータ） (2021-10-10T03:24:03Z)
Efficient Adaptation of Neural Network Filter for Video Compression [10.769305738505071]
本稿では,ニューラルネットワークフィルタのための効率的なファインタニング手法を提案する。微細チューニングは、エンコーダ側で行われ、ニューラルネットワークが符号化されている特定のコンテンツに適応する。提案手法は従来のファインタニング手法よりもはるかに高速である。
論文参考訳（メタデータ） (2020-07-28T14:24:28Z)
Channel-Level Variable Quantization Network for Deep Image Compression [50.3174629451739]
チャネルレベルの可変量子化ネットワークを提案し、重要なチャネルに対してより多くの畳み込みを動的に割り当て、無視可能なチャネルに対して退避する。提案手法は優れた性能を実現し,より優れた視覚的再構成を実現する。
論文参考訳（メタデータ） (2020-07-15T07:20:39Z)
End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
論文参考訳（メタデータ） (2020-02-10T16:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。