論文の概要: Efficient Language Modeling with Sparse all-MLP

• arxiv url: http://arxiv.org/abs/2203.06850v2
• Date: Wed, 16 Mar 2022 21:44:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 10:46:56.349232
• Title: Efficient Language Modeling with Sparse all-MLP
• Title（参考訳）: スパースオールMLPを用いた効率的な言語モデリング
• Authors: Ping Yu, Mikel Artetxe, Myle Ott, Sam Shleifer, Hongyu Gong, Ves Stoyanov, Xian Li
• Abstract要約: すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
• 参考スコア（独自算出の注目度）: 53.81435968051093
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: All-MLP architectures have attracted increasing interest as an alternative to attention-based models. In NLP, recent work like gMLP shows that all-MLPs can match Transformers in language modeling, but still lag behind in downstream tasks. In this work, we analyze the limitations of MLPs in expressiveness, and propose sparsely activated MLPs with mixture-of-experts (MoEs) in both feature and input (token) dimensions. Such sparse all-MLPs significantly increase model capacity and expressiveness while keeping the compute constant. We address critical challenges in incorporating conditional computation with two routing strategies. The proposed sparse all-MLP improves language modeling perplexity and obtains up to 2$\times$ improvement in training efficiency compared to both Transformer-based MoEs (GShard, Switch Transformer, Base Layers and HASH Layers) as well as dense Transformers and all-MLPs. Finally, we evaluate its zero-shot in-context learning performance on six downstream tasks, and find that it surpasses Transformer-based MoEs and dense Transformers.
• Abstract（参考訳）: オールMLPアーキテクチャはアテンションベースのモデルに代わるものとして関心を集めている。 NLPでは、gMLPのような最近の研究により、すべてのMLPが言語モデリングにおいてTransformerにマッチするが、下流タスクでは遅れていることを示している。 本研究では,表現性におけるMLPの限界を解析し,特徴量と入力量の両方において,MLPを混合した疎活性化(MoEs)を提案する。 このようなスパースなオールMLPは、計算定数を維持しながら、モデルのキャパシティと表現性を著しく向上させる。 条件計算を2つのルーティング戦略に組み込む上で重要な課題に対処する。 提案したスパースオールMLPは、言語モデリングの難易度を改善し、トランスフォーマーベースのMoE(GShard, Switch Transformer, Base Layers, HASH Layers)と高密度トランスフォーマーとオールMLPの両方と比較して、トレーニング効率を最大2$\times$で改善する。 最後に、6つの下流タスクにおけるゼロショットインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを超越していることを見出した。

関連論文リスト

• MLP Can Be A Good Transformer Learner [73.01739251050076]
  自己保持機構はトランスフォーマーの鍵であるが、その計算要求に対してしばしば批判される。 本稿では,非重要注意層を選択的に除去することで,視覚変換器の簡易化と計算負荷削減を実現する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-04-08T16:40:15Z)
• NTK-approximating MLP Fusion for Efficient Language Model Fine-tuning [40.994306592119266]
  訓練済みの言語モデル(PLM)を微調整することは、多くの自然言語処理アプリケーションにおいて主要な戦略として現れる。 いくつかの一般的なアプローチ(量子化や蒸留など)は、PLM微細チューニングの計算/メモリを減らすために広く研究されている。 我々は、NTK近似モジュールを融合して軽量PLMを作成することを提案する。
  論文  参考訳（メタデータ） (2023-07-18T03:12:51Z)
• MLP Architectures for Vision-and-Language Modeling: An Empirical Study [91.6393550858739]
  視覚・機能融合(VL)におけるアーキテクチャの利用に関する最初の実証的研究を開始する。 プレトレーニングなしでは、マルチモーダルフュージョンの使用はトランスに比べて顕著な性能差があることが判明した。 マルチヘッドの注意を多用する代わりに、エンコーダに小さなワンヘッドの注意を加えることで、トランスフォーマーに匹敵するパフォーマンスを達成するのに十分である。
  論文  参考訳（メタデータ） (2021-12-08T18:26:19Z)
• Sparse MLP for Image Recognition: Is Self-Attention Really Necessary? [65.37917850059017]
  我々は sMLPNet というアテンションレスネットワークを構築した。 2次元画像トークンでは、sMLPは軸方向に沿って1Dを適用し、パラメータは行または列間で共有される。 66Mパラメータにスケールアップする際、sMLPNetは83.4%のトップ-1精度を達成しており、これは最先端のSwin Transformerと同等である。
  論文  参考訳（メタデータ） (2021-09-12T04:05:15Z)
• ConvMLP: Hierarchical Convolutional MLPs for Vision [7.874749885641495]
  本稿では,視覚認識のための軽量でステージワイドな協調設計である階層型 ConMLP を提案する。 本研究では,ConvMLPをシームレスに転送し,少ないパラメータで競合する結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-09T17:52:57Z)
• Sparse-MLP: A Fully-MLP Architecture with Conditional Computation [7.901786481399378]
  厳密な条件計算を伴うMoE(Mixture-of-Experts)は、注意に基づくモデルを、同等の計算コストでより多くのパラメータに拡張するための効果的なアーキテクチャであることが証明されている。 我々は、より効率的なアーキテクチャを実現するために、最近のMixerモデルをMoEで拡張するSparse-MLPを提案する。
  論文  参考訳（メタデータ） (2021-09-05T06:43:08Z)
• Pay Attention to MLPs [84.54729425918164]
  gMLP はキー言語やアプリケーションで Transformer と同等に動作可能であることを示す。 我々の比較では、gMLPが同じ精度を達成できるため、ビジョントランスフォーマーには自己注意が重要でないことが示されている。 一般的な実験では、gMLPはデータと計算量を増やして、Transformerと同様にスケール可能である。
  論文  参考訳（メタデータ） (2021-05-17T17:55:04Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。