論文の概要: Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis
- arxiv url: http://arxiv.org/abs/2407.09732v1
- Date: Sat, 13 Jul 2024 00:35:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 21:08:35.962596
- Title: Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis
- Title（参考訳）: 発声スリテリン: 発声分離, 認識, 合成のためのマンバの性能と効率の検討
- Authors: Xilin Jiang, Yinghao Aaron Li, Adrian Nicolas Florea, Cong Han, Nima Mesgarani,
- Abstract要約: Mambaがトランスフォーマーのより良い代替品だと結論付けるには早すぎる。
我々は,3つのタスクに対して,Mamba-TasNet,ConMamba,VALL-Mの3つのモデルを評価する。
- 参考スコア（独自算出の注目度）: 18.68317727349427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is too early to conclude that Mamba is a better alternative to transformers for speech before comparing Mamba with transformers in terms of both performance and efficiency in multiple speech-related tasks. To reach this conclusion, we propose and evaluate three models for three tasks: Mamba-TasNet for speech separation, ConMamba for speech recognition, and VALL-M for speech synthesis. We compare them with transformers of similar sizes in performance, memory, and speed. Our Mamba or Mamba-transformer hybrid models show comparable or higher performance than their transformer counterparts: Sepformer, Conformer, and VALL-E. They are more efficient than transformers in memory and speed for speech longer than a threshold duration, inversely related to the resolution of a speech token. Mamba for separation is the most efficient, and Mamba for recognition is the least. Further, we show that Mamba is not more efficient than transformer for speech shorter than the threshold duration and performs worse in models that require joint modeling of text and speech, such as cross or masked attention of two inputs. Therefore, we argue that the superiority of Mamba or transformer depends on particular problems and models. Code available at https://github.com/xi-j/Mamba-TasNet and https://github.com/xi-j/Mamba-ASR.
- Abstract（参考訳）: 複数の音声関連タスクのパフォーマンスと効率の両面で、Mambaを変換器と比較する前に、Mambaが音声の変換器のより良い代替手段であると結論付けるのは早すぎる。
そこで本研究では, 音声分離のためのMamba-TasNet, 音声認識のためのConMamba, 音声合成のためのVALL-Mの3つのモデルを提案し, 評価する。
性能、メモリ、スピードにおいて、同様の大きさのトランスフォーマーと比較する。
私たちのMambaやMamba-transformerハイブリッドモデルは、Sepformer、Conformer、VALL-Eといったトランスフォーマーと同等か高いパフォーマンスを示しています。
メモリのトランスフォーマーよりも効率的で、しきい値よりも長い音声の処理速度があり、逆に音声トークンの分解能と関係がある。
分離のためのMambaは最も効率的であり、認識のためのMambaは最小限である。
さらに,2つの入力の交叉やマスマスキングといったテキストと音声の連成モデリングを必要とするモデルにおいて,Mambaはしきい値よりも短い音声変換器よりも効率が良くないことを示す。
したがって、マンバや変圧器の優越性は特定の問題やモデルに依存すると論じる。
https://github.com/xi-j/Mamba-TasNetとhttps://github.com/xi-j/Mamba-ASRで公開されている。
関連論文リスト
- SepMamba: State-space models for speaker separation using Mamba [2.840381306234341]
本稿では,主に双方向のMamba層で構成されたU-NetベースのアーキテクチャであるSepMambaを提案する。
このアプローチは、WSJ0 2-Speakerデータセットにおいて、同様の大きさの顕著なモデルよりも優れています。
論文 参考訳（メタデータ） (2024-10-28T13:20:53Z) - Can Mamba Always Enjoy the "Free Lunch"? [9.024844892536327]
トランスフォーマーは、現在のLarge Language Models (LLM) の基盤となっている。
マンバは推論中の一定レベルのサイズのために徐々に注目を集めている。
この結果から,任意のDP問題を解くために,Mambaの総コストは標準かつ効率的な変換器に匹敵することがわかった。
論文 参考訳（メタデータ） (2024-10-04T13:31:24Z) - MaskMamba: A Hybrid Mamba-Transformer Model for Masked Image Generation [63.73137438677585]
MaskMambaは、MambaとTransformerアーキテクチャを組み合わせた新しいハイブリッドモデルである。
トランスフォーマーよりも2048時間2048ドルという解像度で、推論速度が54.44%向上した。
論文 参考訳（メタデータ） (2024-09-30T04:28:55Z) - ReMamba: Equip Mamba with Effective Long-Sequence Modeling [50.530839868893786]
本研究では,長い文脈の理解能力を高めるReMambaを提案する。
ReMambaは2段階のプロセスで選択的圧縮と適応のテクニックを取り入れている。
論文 参考訳（メタデータ） (2024-08-28T02:47:27Z) - Snakes and Ladders: Two Steps Up for VideoMamba [10.954210339694841]
本稿では,自尊心とマンバの差異を理論的に分析する。
本稿では, VideoMamba を1.6-2.8%, 1.1-1.9% で上回る VideoMambaPro モデルを提案する。
我々の2つの解決策は、Vision Mambaモデルの最近の進歩であり、将来のモデルにさらなる改善をもたらす可能性が高い。
論文 参考訳（メタデータ） (2024-06-27T08:45:31Z) - An Empirical Study of Mamba-based Language Models [69.74383762508805]
Mambaのような選択的な状態空間モデル(SSM)はトランスフォーマーの欠点を克服する。
同じデータセット上で訓練された8B-context Mamba, Mamba-2, Transformer モデルを直接比較する。
8BのMamba-2-Hybridは、12の標準タスクで8BのTransformerを上回っている。
論文 参考訳（メタデータ） (2024-06-12T05:25:15Z) - Demystify Mamba in Vision: A Linear Attention Perspective [72.93213667713493]
Mambaは線形計算複雑性を持つ効率的な状態空間モデルである。
我々は,Mambaが線形アテンショントランスフォーマーと驚くほど類似していることを示す。
本稿では,これら2つの鍵設計の利点を線形注意に取り入れた,マンバ様線形注意(MLLA)モデルを提案する。
論文 参考訳（メタデータ） (2024-05-26T15:31:09Z) - ReMamber: Referring Image Segmentation with Mamba Twister [51.291487576255435]
ReMamberは、マルチモーダルなMamba TwisterブロックとMambaのパワーを統合する新しいRISアーキテクチャである。
Mamba Twisterは画像とテキストのインタラクションを明示的にモデル化し、独自のチャネルと空間的ツイスト機構を通じてテキストと視覚的特徴を融合する。
論文 参考訳（メタデータ） (2024-03-26T16:27:37Z) - MambaByte: Token-free Selective State Space Model [71.90159903595514]
マンババイト(英: MambaByte)は、マンバSSMがバイト配列で自己回帰的に訓練したトークンレス適応である。
MambaByteは、言語モデリングタスクにおいて、最先端のサブワードトランスフォーマーよりも優れています。
論文 参考訳（メタデータ） (2024-01-24T18:53:53Z) - MoE-Mamba: Efficient Selective State Space Models with Mixture of
Experts [4.293771840782942]
状態空間モデル(SSM)は、シーケンシャルモデリングの分野において真剣な競争者となっている。
MoEは、最近の最先端のオープンモデルを含むトランスフォーマーベースの大規模言語モデルを大幅に改善した。
スケーリングのためのSSMの可能性を解き放つためには、MoEと組み合わせるべきである。
論文 参考訳（メタデータ） (2024-01-08T18:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。