論文の概要: CleanUMamba: A Compact Mamba Network for Speech Denoising using Channel Pruning

• arxiv url: http://arxiv.org/abs/2410.11062v1
• Date: Mon, 14 Oct 2024 20:18:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:17.740985
• Title: CleanUMamba: A Compact Mamba Network for Speech Denoising using Channel Pruning
• Title（参考訳）: cleanumamba: チャンネルプルーニングを用いた音声認識のための小型マンバネットワーク
• Authors: Sjoerd Groot, Qinyu Chen, Jan C. van Gemert, Chang Gao,
• Abstract要約: CleanUMambaは、生の波形に直接適応する因果音声を識別するために設計された時間領域ニューラルネットワークアーキテクチャである。 CleanUMamba は PESQ スコア 2.42 と STOI の 95.1% を 442K パラメータと 468M MAC で達成している。
• 参考スコア（独自算出の注目度）: 13.632515996508172
• License:
• Abstract: This paper presents CleanUMamba, a time-domain neural network architecture designed for real-time causal audio denoising directly applied to raw waveforms. CleanUMamba leverages a U-Net encoder-decoder structure, incorporating the Mamba state-space model in the bottleneck layer. By replacing conventional self-attention and LSTM mechanisms with Mamba, our architecture offers superior denoising performance while maintaining a constant memory footprint, enabling streaming operation. To enhance efficiency, we applied structured channel pruning, achieving an 8X reduction in model size without compromising audio quality. Our model demonstrates strong results in the Interspeech 2020 Deep Noise Suppression challenge. Specifically, CleanUMamba achieves a PESQ score of 2.42 and STOI of 95.1% with only 442K parameters and 468M MACs, matching or outperforming larger models in real-time performance. Code will be available at: https://github.com/lab-emi/CleanUMamba
• Abstract（参考訳）: 本稿では,生波形に直接適応するリアルタイム因果音声のための時間領域ニューラルネットワークアーキテクチャであるCleanumambaを提案する。 CleanUMambaはU-Netエンコーダ-デコーダ構造を利用し、Mamba状態空間モデルをボトルネック層に組み込む。 従来の自己アテンション機構とLSTM機構をMambaに置き換えることで,メモリフットプリントを一定に保ちながら優れた復調性能を実現し,ストリーミング操作を可能にした。 効率を向上させるため,構造化チャネルプルーニングを適用し,音質を損なうことなくモデルサイズを8倍に削減した。 当社のモデルでは,Interspeech 2020 Deep Noise Suppression において強い結果が得られた。 具体的には、CleanUMamba は PESQ スコア 2.42 と STOI の 95.1% を 442K パラメータと 468M MAC で達成し、より大規模なモデルをリアルタイムのパフォーマンスでマッチングまたは性能を向上させる。 コードは、https://github.com/lab-emi/Cleanumamba.comで入手できる。

関連論文リスト

• Real-time Speech Enhancement on Raw Signals with Deep State-space Modeling [1.0650780147044159]
  ATENNuateは、オンライン生音声の効率向上のために構成された、シンプルなディープな状態空間オートエンコーダである。 我々は、VoiceBank + DEMANDとMicrosoft DNS1合成テストセットでaTENNuateをベンチマークする。 ネットワークは、PSSQスコア、パラメータカウント、MAC、レイテンシの点で、従来のリアルタイムデノナイズモデルを上回っている。
  論文  参考訳（メタデータ） (2024-09-05T09:28:56Z)
• LaMamba-Diff: Linear-Time High-Fidelity Diffusion Models Based on Local Attention and Mamba [54.85262314960038]
  局所的意図的マンバブロックは、大域的コンテキストと局所的詳細の両方を線形複雑性でキャプチャする。 このモデルは, 256x256の解像度で, ImageNet上の様々なモデルスケールでDiTの性能を上回り, 優れたスケーラビリティを示す。 ImageNet 256x256 と 512x512 の最先端拡散モデルと比較すると,最大 62% GFLOP の削減など,我々の最大のモデルには顕著な利点がある。
  論文  参考訳（メタデータ） (2024-08-05T16:39:39Z)
• DeepCache: Accelerating Diffusion Models for Free [65.02607075556742]
  DeepCacheは、モデルアーキテクチャの観点から拡散モデルを加速するトレーニング不要のパラダイムである。 DeepCacheは拡散モデルのシーケンシャルなデノナイジングステップで観測される時間的冗長性に乗じている。 同じスループットで、DeepCacheはDDIMやPLMSで、事実上同等または極端に改善された結果を達成する。
  論文  参考訳（メタデータ） (2023-12-01T17:01:06Z)
• Lightweight network towards real-time image denoising on mobile devices [26.130379174715742]
  深層畳み込みニューラルネットワークは、画像復調タスクにおいて大きな進歩を遂げている。 複雑なアーキテクチャと計算コストにより、モバイルデバイスへのデプロイが妨げられる。 モバイルフレンドリーなデノベーションネットワークであるMFDNetを提案する。
  論文  参考訳（メタデータ） (2022-11-09T05:19:26Z)
• Real-Time Target Sound Extraction [13.526450617545537]
  実時間およびストリーミングターゲット音抽出を実現するためのニューラルネットワークモデルを提案する。 本稿では,エンコーダとして拡張因果畳み込みレイヤを積み重ねたエンコーダデコーダアーキテクチャであるWaveformerと,デコーダとしてトランスフォーマデコーダレイヤを提案する。
  論文  参考訳（メタデータ） (2022-11-04T03:51:23Z)
• Simple Pooling Front-ends For Efficient Audio Classification [56.59107110017436]
  入力音声特徴量における時間的冗長性を排除することは,効率的な音声分類に有効な方法である可能性が示唆された。 本稿では、単純な非パラメトリックプーリング操作を用いて冗長な情報を削減する単純なプールフロントエンド(SimPFs)のファミリーを提案する。 SimPFは、市販オーディオニューラルネットワークの浮動小数点演算数の半数以上を削減できる。
  論文  参考訳（メタデータ） (2022-10-03T14:00:41Z)
• FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech Synthesis [77.06890315052563]
  我々は、低レイテンシで非拘束音声から高品質な音声を直接合成できる非自己回帰的エンドツーエンドモデルであるFastLTSを提案する。 実験により,本モデルは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声生成の19.76倍の高速化を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-07-08T10:10:39Z)
• Streamable Neural Audio Synthesis With Non-Causal Convolutions [1.8275108630751844]
  非因果的ストリーミングモデルを生成するための新しい手法を提案する。 これにより、任意の畳み込みモデルをリアルタイムバッファベースの処理と互換性を持たせることができる。 並列ブランチで複雑なアーキテクチャに適合させる方法を示す。
  論文  参考訳（メタデータ） (2022-04-14T16:00:32Z)
• WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition [59.975078145303605]
  本稿では,ハイブリッドCTC-attention AEDモデルと重み付き有限状態トランスデューサを用いた新しいフレームワークWNARSを提案する。 AISHELL-1タスクでは、640msの遅延で5.22%の文字エラー率を達成し、オンラインASRの最先端のパフォーマンスである私たちの知識を最大限に活用します。
  論文  参考訳（メタデータ） (2021-04-08T07:56:03Z)
• Real Time Speech Enhancement in the Waveform Domain [99.02180506016721]
  本稿では,ラップトップCPU上でリアルタイムに動作する生波形を用いた因果音声強調モデルを提案する。 提案モデルは、スキップ接続を持つエンコーダデコーダアーキテクチャに基づいている。 静止ノイズや非定常ノイズを含む様々な背景ノイズを除去することができる。
  論文  参考訳（メタデータ） (2020-06-23T09:19:13Z)
• TinyLSTMs: Efficient Neural Speech Enhancement for Hearing Aids [13.369813069254132]
  モデル圧縮技術を用いて、大型ニューラルネットワークとバッテリ駆動型補聴器ハードウェアのギャップを埋める。 我々は,ウェイト/アクティベーションのプルーニングと整数量子化を用いて,RNN音声強調の有効性を初めて実証した。 我々のモデルは計算遅延が2.39msで、10msの目標と、以前の作業よりも351$times$である。
  論文  参考訳（メタデータ） (2020-05-20T20:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。