論文の概要: A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2405.16646v2
• Date: Tue, 28 May 2024 12:45:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 10:59:04.131185
• Title: A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts
• Title（参考訳）: 微調整されたスパース・オブ・エクササイズにおけるエキスパートの選抜方法の確率的有効性
• Authors: Mohammed Nowaz Rabbani Chowdhury, Meng Wang, Kaoutar El Maghraoui, Naigang Wang, Pin-Yu Chen, Christopher Carothers,
• Abstract要約: 本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
• 参考スコア（独自算出の注目度）: 49.394145046409044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The sparsely gated mixture of experts (MoE) architecture sends different inputs to different subnetworks, i.e., experts, through trainable routers. MoE reduces the training computation significantly for large models, but its deployment can be still memory or computation expensive for some downstream tasks. Model pruning is a popular approach to reduce inference computation, but its application in MoE architecture is largely unexplored. To the best of our knowledge, this paper provides the first provably efficient technique for pruning experts in finetuned MoE models. We theoretically prove that prioritizing the pruning of the experts with a smaller change of the routers l2 norm from the pretrained model guarantees the preservation of test accuracy, while significantly reducing the model size and the computational requirements. Although our theoretical analysis is centered on binary classification tasks on simplified MoE architecture, our expert pruning method is verified on large vision MoE models such as VMoE and E3MoE finetuned on benchmark datasets such as CIFAR10, CIFAR100, and ImageNet.
• Abstract（参考訳）: 疎結合のエキスパート(MoE)アーキテクチャは異なるサブネットワーク、すなわち訓練可能なルータを介して異なるサブネットワークに異なる入力を送信する。 MoEは大規模モデルのトレーニング計算を大幅に削減するが、ダウンストリームタスクではメモリや計算コストがかかる可能性がある。 モデルプルーニングは推論計算の削減に人気があるが、MoEアーキテクチャにおけるその応用は明らかにされていない。 我々の知る限り、本論文は、微調整されたMoEモデルのエキスパートを刈り取るための、初めて、証明可能な効率のよい技術を提供する。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更した専門家のプルーニングの優先順位付けは、テスト精度の維持を保証し、モデルサイズと計算要求を大幅に削減する。 我々の理論解析は、単純化されたMoEアーキテクチャのバイナリ分類タスクを中心にしているが、我々は、CIFAR10、CIFAR100、ImageNetなどのベンチマークデータセットに基づいて、VMoEやE3MoEのような大視的MoEモデルで検証する。

関連論文リスト

• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  そこで本研究では,モデルパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 本手法は,Mixtral-8x7BとMixtral-8x22Bの2種類のMoEモデルを用いて評価を行った。 本手法は,様々な自然言語タスクにおいて,他のモデルプルーニング手法よりも優れる。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Mixture of A Million Experts [1.240096657086732]
  本稿では,多彩な専門家プールからのスパース検索に製品キー技術を利用する新しい層設計PEERを紹介する。 言語モデリングタスクの実験では、PEER層が高密度FFWや粗粒のMoEよりもパフォーマンス・計算トレードオフの点で優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-04T20:59:20Z)
• Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
  私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。 パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。 セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-06T03:06:33Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• Pushing Mixture of Experts to the Limit: Extremely Parameter Efficient MoE for Instruction Tuning [7.094820944028638]
  我々は,MoEアーキテクチャと軽量専門家を組み合わせることで,極めてパラメータ効率の良いMoEを提案する。 本手法は,従来のタスク知識に依存しないため,目に見えないタスクに一般化する。 本研究は,厳密なパラメータ制約の下でも堅牢な性能を実現する能力を示す。
  論文  参考訳（メタデータ） (2023-09-11T13:31:00Z)
• Improving Expert Specialization in Mixture of Experts [0.7366405857677227]
  エキスパートの混合(MoE)は、最も単純なゲート付きモジュラーニューラルネットワークアーキテクチャである。 元のMoEアーキテクチャとそのトレーニング手法は直感的なタスク分解と優れた専門家の活用を保証するものではないことを示す。 我々は,注目度に類似した新しいゲーティングアーキテクチャを導入し,性能を向上し,エントロピータスクの分解を低くする。
  論文  参考訳（メタデータ） (2023-02-28T16:16:45Z)
• Task-Specific Expert Pruning for Sparse Mixture-of-Experts [105.20605021416276]
  Mixture-of-Experts (MoE) モデルは大規模な事前トレーニングには強力である。 MoEはクラウドやモバイル環境にデプロイするのは難しい。 本稿では,目標下流タスクの非専門的専門家を段階的に降ろす方法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T07:09:01Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。