論文の概要: U2++ MoE: Scaling 4.7x parameters with minimal impact on RTF

• arxiv url: http://arxiv.org/abs/2404.16407v1
• Date: Thu, 25 Apr 2024 08:34:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 14:28:55.236644
• Title: U2++ MoE: Scaling 4.7x parameters with minimal impact on RTF
• Title（参考訳）: U2++ MoE: RTFへの影響を最小限にした4.7xパラメータのスケーリング
• Authors: Xingchen Song, Di Wu, Binbin Zhang, Dinghao Zhou, Zhendong Peng, Bo Dang, Fuping Pan, Chao Yang,
• Abstract要約: Mixture-of-Experts (MoE) は、より大きく、より有能な言語モデルへのエネルギー効率の良い経路として提案されている。 提案したモデルを大規模インナーソースデータセット(160k時間)でベンチマークする。
• 参考スコア（独自算出の注目度）: 10.81723269312202
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scale has opened new frontiers in natural language processing, but at a high cost. In response, by learning to only activate a subset of parameters in training and inference, Mixture-of-Experts (MoE) have been proposed as an energy efficient path to even larger and more capable language models and this shift towards a new generation of foundation models is gaining momentum, particularly within the field of Automatic Speech Recognition (ASR). Recent works that incorporating MoE into ASR models have complex designs such as routing frames via supplementary embedding network, improving multilingual ability for the experts, and utilizing dedicated auxiliary losses for either expert load balancing or specific language handling. We found that delicate designs are not necessary, while an embarrassingly simple substitution of MoE layers for all Feed-Forward Network (FFN) layers is competent for the ASR task. To be more specific, we benchmark our proposed model on a large scale inner-source dataset (160k hours), the results show that we can scale our baseline Conformer (Dense-225M) to its MoE counterparts (MoE-1B) and achieve Dense-1B level Word Error Rate (WER) while maintaining a Dense-225M level Real Time Factor (RTF). Furthermore, by applying Unified 2-pass framework with bidirectional attention decoders (U2++), we achieve the streaming and non-streaming decoding modes in a single MoE based model, which we call U2++ MoE. We hope that our study can facilitate the research on scaling speech foundation models without sacrificing deployment efficiency.
• Abstract（参考訳）: スケールは自然言語処理の新たなフロンティアを開放したが、コストは高い。 これに対し,Mixture-of-Experts (MoE) は,学習と推論においてパラメータのサブセットのみを活性化させることによって,より大きく,より能力の高い言語モデルへのエネルギー効率の高い経路として提案され,特に自動音声認識(ASR)分野において,新しい基礎モデルへの移行が勢いを増している。 ASRモデルにMoEを組み込んだ最近の研究は、補足的な埋め込みネットワークによるルーティングフレーム、専門家の多言語能力の向上、専門家の負荷分散や特定の言語処理のための専用の補助的損失の活用といった複雑な設計がなされている。 その結果,全てのフィードフォワードネットワーク(FFN)層に対して,非常に単純なMoE層置換がASRタスクに適していることがわかった。 さらに具体的には,提案したモデルを大規模インナーソースデータセット(160k時間)でベンチマークした結果,ベースラインコンバータ(Dense-225M)をMoE(MoE-1B)に拡張し,Dense-225Mレベルのリアルタイムファクタ(RTF)を維持しつつ,Dense-1Bレベルのワードエラー率(WER)を達成できることが判明した。 さらに、双方向アテンションデコーダ(U2++)を備えたUnified 2-passフレームワークの適用により、単一のMoEモデルでストリーミングおよび非ストリーミングデコードモードを実現し、U2++ MoEと呼ぶ。 本研究は, 展開効率を犠牲にすることなく, 音声基礎モデルのスケーリングを促進できることを願っている。

関連論文リスト

• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Layerwise Recurrent Router for Mixture-of-Experts [42.36093735411238]
  Mixture-of-Experts (MoE)アーキテクチャは、トレーニングコストを大幅に増加させることなく、モデルサイズをスケールできる能力で際立っている。 現在のMoEモデルはパラメータ非効率をしばしば表示する。 我々はMixture-of-Experts(RMoE)のためのLayerwise Recurrent Routerを紹介する。
  論文  参考訳（メタデータ） (2024-08-13T10:25:13Z)
• LaDiMo: Layer-wise Distillation Inspired MoEfier [1.6199400106794555]
  本稿では,Transformerベースの非MoEモデルを最小限のトレーニングコストでMoEモデルに変換する新しいアルゴリズムLaDiMoを提案する。 100Kトークンのみを用いてLLaMA2-7BモデルをMoEモデルに変換することにより,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-08-08T07:37:26Z)
• Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
  私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。 パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。 セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-06T03:06:33Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• TA-MoE: Topology-Aware Large Scale Mixture-of-Expert Training [18.68993910156101]
  大規模MoEトレーニングのためのトポロジ対応ルーティング戦略であるTA-MoEを提案する。 TA-MoEは,様々なハードウェアやモデル構成において,その性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-02-20T11:18:24Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
  我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。 また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。 50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-09-22T00:57:46Z)
• SpeechMoE: Scaling to Large Acoustic Models with Dynamic Routing Mixture of Experts [29.582683923988203]
  Mixture of Experts (MoE)ベースのTransformerは多くの領域で有望な結果を示している。 本研究では,音声認識のためのモデルであるSpeechMoEについて検討する。 新しいルータアーキテクチャは、共有埋め込みネットワークからの情報を同時に利用できるSpeechMoEで使用されている。
  論文  参考訳（メタデータ） (2021-05-07T02:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。