論文の概要: Masked Autoregressive Speech Enhancement with Continuous Neural Audio Codec Representations

• arxiv url: http://arxiv.org/abs/2609.03940v1
• Date: Thu, 03 Sep 2026 14:45:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.119947
• Title: Masked Autoregressive Speech Enhancement with Continuous Neural Audio Codec Representations
• Title（参考訳）: 連続型ニューラルオーディオコーデック表現を用いたマスク付き自己回帰音声強調
• Abstract要約: Masked Autoregressive SE (MARSE) はクリーン音声フレームの反復復号に基づく音声強調手法である。 MARSEはSE性能と計算コストの間の柔軟なトレードオフを可能にする。
• 参考スコア（独自算出の注目度）: 9.994255134903282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most previous work on speech enhancement (SE) based on masked generative modeling relied on discrete token representations of audio signals, obtained using neural audio codecs (NACs). However, a recent study has shown that continuous latent representations of NACs can be advantageous for SE in terms of speech quality and intelligibility. In this work, we propose masked autoregressive SE (MARSE), a method for SE based on iterative decoding of masked clean speech frames using continuous NAC representations of speech. In particular, we investigate a set of different decoding policies, ceteris paribus, that is, using the same DNN (a Conformer model), the same NAC (the DAC codec) and the same training setup. The results show that MARSE enables a flexible trade-off between SE performance and computational cost. Audio examples and code are available online.
• Abstract（参考訳）: マスク付き生成モデルに基づく音声強調(SE)に関するこれまでの研究は、ニューラルオーディオコーデック(NAC)を用いて得られた音声信号の離散トークン表現に依存していた。 しかし,近年の研究では,NACの持続的潜在表現は,音声品質や知性の観点からSEに有利であることが示されている。 本研究では、連続的なNAC表現を用いたマスク付きクリーン音声フレームの反復復号化に基づくSEの手法であるマスク付き自己回帰SE(MARSE)を提案する。 特に,同一のDNN(コンフォーマーモデル)と同一のNAC(DACコーデック)と同一のトレーニング設定を用いて,異なるデコードポリシーであるceteris paribusについて検討する。 その結果,MARSEはSE性能と計算コストの柔軟なトレードオフを可能にすることがわかった。 オーディオサンプルとコードはオンラインで入手できる。

関連論文リスト

• EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement [54.95940885045993]
  EntangleCodecは、量子化の前にキャプションに沿った意味音響表現を学習する独立したオーディオトークンである。 コンパクトなトークンストリーム内に言語内容、話者識別、感情、韻律、音響シーンをキャプチャする。 特殊なコーデックと競合する再構成品質を実現し、統合されたフレームワークでTSとTTAの生成をサポートする。
  論文  参考訳（メタデータ） (2026-06-01T18:05:18Z)
• AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
  一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。 実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T00:56:51Z)
• Frontend Token Enhancement for Token-Based Speech Recognition [50.35062963870211]
  音声信号の離散化表現は、音声認識アプリケーションにおける連続的な特徴の効率的な代替手段である。 本研究では,雑音の多い音声からクリーンな音声トークンを推定し,意味的トークンを用いてASRバックエンド上で評価するシステムを提案する。 入力/トークン領域に基づく拡張モデルとして,ウェーブ・ツー・ウェーブ・トゥ・ウェーブ・トゥ・アウトプット,連続SSL機能・ツー・ツー・ケン,ウェーブ・ツー・ツー・ケンの4種類を検討する。
  論文  参考訳（メタデータ） (2026-02-04T05:02:15Z)
• UniSE: A Unified Framework for Decoder-only Autoregressive LM-based Speech Enhancement [3.855026553620411]
  我々は、異なる音声強調タスクを処理するために、統一デコーダのみのLMベースのフレームワークUniSEを提案する。 入力音声特徴を条件として、ARモデリングを用いてターゲット音声の離散トークンを生成する。 実験により、提案したUniSEは差別的および生成的ベースラインと比較して競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2025-10-23T11:22:24Z)
• FocalCodec: Low-Bitrate Speech Coding via Focal Modulation Networks [33.022035588157614]
  FocalCodecは、単一のバイナリコードブックを使って音声を圧縮する焦点変調に基づく効率的な低ビットレートである。 デモサンプルとコードはhttps://lucadellalib.io/kbpscodec-web/.comで公開されている。
  論文  参考訳（メタデータ） (2025-02-06T19:24:50Z)
• Codec-ASR: Training Performant Automatic Speech Recognition Systems with Discrete Speech Representations [16.577870835480585]
  本稿では、離散符号を用いたASRシステム構築に関する総合的な分析を行う。 本稿では,量子化スキームや時間領域,スペクトル特徴符号化などの異なる手法について検討する。 同様のビットレートでEncodecを上回るパイプラインを導入する。
  論文  参考訳（メタデータ） (2024-07-03T20:51:41Z)
• EnCodecMAE: Leveraging neural codecs for universal audio representation learning [16.590638305972632]
  我々は、音声信号のマスキング表現を提案し、マスクされたセグメントを再構築するためにMAEを訓練する。 本研究では,EnCodecMAEと呼ぶこのアプローチを,音声,音楽,環境音を含む幅広いタスクで評価する。
  論文  参考訳（メタデータ） (2023-09-14T02:21:53Z)
• TokenSplit: Using Discrete Speech Representations for Direct, Refined, and Transcript-Conditioned Speech Separation and Recognition [51.565319173790314]
  TokenSplit は Transformer アーキテクチャを使用するシーケンス・ツー・シーケンス・エンコーダ・デコーダモデルである。 また,本モデルでは,書き起こし条件付けの有無にかかわらず,分離の点で優れた性能を発揮することを示す。 また、自動音声認識(ASR)の性能を測定し、音声合成の音声サンプルを提供し、我々のモデルの有用性を実証する。
  論文  参考訳（メタデータ） (2023-08-21T01:52:01Z)
• LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders [53.30016986953206]
  雑音の多い音声・視覚音声からのメルスペクトルをトランスフォーマーベースアーキテクチャにより予測する2段階のアプローチであるLA-VocEを提案する。 我々は、何千もの話者と11以上の異なる言語でフレームワークを訓練し、評価し、異なるレベルのバックグラウンドノイズや音声干渉に適応するモデルの能力について研究する。
  論文  参考訳（メタデータ） (2022-11-20T15:27:55Z)
• Self-Supervised Learning for Speech Enhancement through Synthesis [5.924928860260821]
  そこで本研究では,ボコーダが雑音表現を受け入れ,クリーンな音声を直接合成する方法を学習する,デノナイズドボコーダ(DeVo)アプローチを提案する。 10msのレイテンシとパフォーマンスの低下を最小限に抑えながら,ストリーミングオーディオ上で動作可能な因果バージョンを実証した。
  論文  参考訳（メタデータ） (2022-11-04T16:06:56Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。