論文の概要: Learning to Upsample and Upmix Audio in the Latent Domain

• arxiv url: http://arxiv.org/abs/2506.00681v1
• Date: Sat, 31 May 2025 19:27:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.206783
• Title: Learning to Upsample and Upmix Audio in the Latent Domain
• Title（参考訳）: 潜伏領域におけるアップサンプリングとアップミックスの学習
• Authors: Dimitrios Bralios, Paris Smaragdis, Jonah Casebeer,
• Abstract要約: ニューラルオーディオオートエンコーダは、知覚的に重要な情報を保持するコンパクトな潜在表現を生成する。 本稿では,オートエンコーダの潜在空間内で音声処理を行うフレームワークを提案する。 生音声における後処理に匹敵する品質を維持しつつ,最大100倍の計算効率向上を示す。
• 参考スコア（独自算出の注目度）: 13.82572699087732
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural audio autoencoders create compact latent representations that preserve perceptually important information, serving as the foundation for both modern audio compression systems and generation approaches like next-token prediction and latent diffusion. Despite their prevalence, most audio processing operations, such as spatial and spectral up-sampling, still inefficiently operate on raw waveforms or spectral representations rather than directly on these compressed representations. We propose a framework that performs audio processing operations entirely within an autoencoder's latent space, eliminating the need to decode to raw audio formats. Our approach dramatically simplifies training by operating solely in the latent domain, with a latent L1 reconstruction term, augmented by a single latent adversarial discriminator. This contrasts sharply with raw-audio methods that typically require complex combinations of multi-scale losses and discriminators. Through experiments in bandwidth extension and mono-to-stereo up-mixing, we demonstrate computational efficiency gains of up to 100x while maintaining quality comparable to post-processing on raw audio. This work establishes a more efficient paradigm for audio processing pipelines that already incorporate autoencoders, enabling significantly faster and more resource-efficient workflows across various audio tasks.
• Abstract（参考訳）: ニューラルオーディオオートエンコーダは、知覚的に重要な情報を保存するコンパクトな潜時表現を作成し、現代のオーディオ圧縮システムの基礎と、次世代の予測や潜時拡散のような生成アプローチの両方の基盤となっている。 その頻度にもかかわらず、空間的およびスペクトル的なアップサンプリングのようなほとんどのオーディオ処理操作は、これらの圧縮された表現を直接ではなく、生の波形やスペクトル表現で非効率に動作する。 本稿では,自動エンコーダの潜在空間内で音声処理を行うフレームワークを提案する。 提案手法は,潜在ドメインのみを動作させることでトレーニングを劇的に簡略化する。 これは、通常、多スケールの損失と識別器の複雑な組み合わせを必要とする生オーディオ法とは対照的である。 帯域拡張と単ステレオアップミキシングの実験により、生オーディオにおける後処理に匹敵する品質を維持しつつ、最大100倍の計算効率向上を示す。 この作業は、オートエンコーダを既に組み込んだオーディオ処理パイプラインのより効率的なパラダイムを確立し、様々なオーディオタスクをまたいだより高速でリソース効率の高いワークフローを実現する。

関連論文リスト

• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  LISTENは、現在と欠落した音を識別するallMsの能力を改善するために設計された、コントラスト的な訓練手法である。 また、BALSaをマルチオーディオシナリオに拡張し、モデルが音声入力の違いを説明するか、統一的なキャプションを生成する。 実験結果から,本手法は音声理解,推論,指示追従のスキルを確実に保ちながら,音声の幻覚を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• Improving the Diffusability of Autoencoders [54.920783089085035]
  高品質な画像やビデオを生成するための主要なアプローチとして、潜伏拡散モデルが登場している。 我々は、現代のオートエンコーダのスペクトル分析を行い、その潜在空間における不規則な高周波成分を同定する。 我々は、この高周波成分が拡散合成プロセスの粗大な微細な性質に干渉し、生成品質を阻害する仮説を立てた。
  論文  参考訳（メタデータ） (2025-02-20T18:45:44Z)
• MoWE-Audio: Multitask AudioLLMs with Mixture of Weak Encoders [36.528216873338614]
  本稿では,弱いエンコーダの混合物をAudioLLMフレームワークに組み込むことを提案する。 MoWEは、ベースエンコーダに比較的軽量なエンコーダのプールを補足し、音声入力に基づいて選択的にアクティベートし、モデルサイズを大幅に増大させることなく特徴抽出を強化する。 実験の結果,MoWEはマルチタスク性能を効果的に向上し,AudioLLMsの多様なオーディオタスクへの適用性を高めた。
  論文  参考訳（メタデータ） (2024-09-10T16:46:18Z)
• Autoregressive Diffusion Transformer for Text-to-Speech Synthesis [39.32761051774537]
  連続空間$mathbb Rd$のベクトル列として音響を符号化し、これらの列を自己回帰的に生成する。 高ビットレート連続音声表現は、ほとんど欠陥のない再構成を可能にし、我々のモデルは、ほぼ完璧な音声編集を実現できる。
  論文  参考訳（メタデータ） (2024-06-08T18:57:13Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)
• Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding [57.08832099075793]
  視覚誘導音源分離は、視覚特徴抽出、マルチモーダル特徴融合、音響信号処理の3つの部分からなる。 本稿では,この課題をパラメータ調和とより効果的な方法で解決するために,AVPC(Audio-visual predictive coding)を提案する。 さらに、同一音源の2つの音声視覚表現を共予測することにより、AVPCのための効果的な自己教師型学習戦略を開発する。
  論文  参考訳（メタデータ） (2023-06-19T03:10:57Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。