論文の概要: $\texttt{MoE-RBench}$: Towards Building Reliable Language Models with Sparse Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2406.11353v1
• Date: Mon, 17 Jun 2024 09:17:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 15:31:23.248920
• Title: $\texttt{MoE-RBench}$: Towards Building Reliable Language Models with Sparse Mixture-of-Experts
• Title（参考訳）: $\texttt{MoE-RBench}$:Sparse Mixture-of-Expertsによる信頼性の高い言語モデルの構築を目指して
• Authors: Guanjie Chen, Xinyu Zhao, Tianlong Chen, Yu Cheng,
• Abstract要約: Mixture-of-Experts (MoE)は、大規模言語モデル(LLM)をスケールアップするための有望なフレームワークとして人気が高まっている。 我々は,SMoEの信頼性を3つの側面から総合的に評価する$textttMoE-RBenchを提案し,その安全性と幻覚,攻撃に対するレジリエンス,および$textit(iii)$out-of-distribution robustnessを提案する。
• 参考スコア（独自算出の注目度）: 42.425214236116865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) has gained increasing popularity as a promising framework for scaling up large language models (LLMs). However, the reliability assessment of MoE lags behind its surging applications. Moreover, when transferred to new domains such as in fine-tuning MoE models sometimes underperform their dense counterparts. Motivated by the research gap and counter-intuitive phenomenon, we propose $\texttt{MoE-RBench}$, the first comprehensive assessment of SMoE reliability from three aspects: $\textit{(i)}$ safety and hallucination, $\textit{(ii)}$ resilience to adversarial attacks, and $\textit{(iii)}$ out-of-distribution robustness. Extensive models and datasets are tested to compare the MoE to dense networks from these reliability dimensions. Our empirical observations suggest that with appropriate hyperparameters, training recipes, and inference techniques, we can build the MoE model more reliably than the dense LLM. In particular, we find that the robustness of SMoE is sensitive to the basic training settings. We hope that this study can provide deeper insights into how to adapt the pre-trained MoE model to other tasks with higher-generation security, quality, and stability. Codes are available at https://github.com/UNITES-Lab/MoE-RBench
• Abstract（参考訳）: Mixture-of-Experts (MoE)は、大規模言語モデル(LLM)をスケールアップするための有望なフレームワークとして人気を集めている。 しかし、MoEの信頼性評価は、その急増する応用に遅れを取っている。 さらに、微調整のMoEモデルのような新しいドメインに移行すると、しばしばその密度の高いドメインを過小評価する。 研究ギャップと反直観的現象に触発され、次の3つの側面からSMoEの信頼性を総合的に評価する$\texttt{MoE-RBench}$を提案する。 (i)}$ safety and hallucination, $\textit{ (ii)}$ 敵攻撃に対するレジリエンス、および$\textit{ (iii)$out-of-distribution robustness。 拡張モデルとデータセットは、これらの信頼性次元からMoEと高密度ネットワークを比較するためにテストされる。 実験により, 適切なハイパーパラメータ, トレーニングレシピ, 推論技術を用いて, 密度LLMよりも信頼性の高いMoEモデルを構築できることが示唆された。 特に、SMoEの堅牢性は、基本的なトレーニング設定に敏感であることがわかった。 この研究は、より高度なセキュリティ、品質、安定性を備えた他のタスクに事前訓練されたMoEモデルを適用する方法について、より深い洞察を得られることを期待しています。 コードはhttps://github.com/UNITES-Lab/MoE-RBenchで公開されている。

関連論文リスト

• A Closer Look into Mixture-of-Experts in Large Language Models [26.503570706063634]
  エクササイズ・オブ・エクササイズ(Mixture-of-experts, MOE)は,その特性と顕著な性能から注目を集めている。 MoEアーキテクチャは計算効率を犠牲にすることなくモデルサイズを増大させることができる。 本稿は,MoEベースの大規模言語モデルの内部動作を理解するための最初の試みである。
  論文  参考訳（メタデータ） (2024-06-26T10:07:57Z)
• LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre-training [21.359073227913303]
  大規模な環境でのMoEのスクラッチからのトレーニングは、依然としてデータ不足と不安定な問題に悩まされている。 この制限により、既存の高密度大言語モデルからMoEモデルを構築することを検討する。 我々のLLaMA-MoEモデルは、同様のアクティベーションパラメータを含む高密度モデルよりも著しく優れている。
  論文  参考訳（メタデータ） (2024-06-24T11:43:07Z)
• U2++ MoE: Scaling 4.7x parameters with minimal impact on RTF [10.81723269312202]
  Mixture-of-Experts (MoE) は、より大きく、より有能な言語モデルへのエネルギー効率の良い経路として提案されている。 提案したモデルを大規模インナーソースデータセット(160k時間)でベンチマークする。
  論文  参考訳（メタデータ） (2024-04-25T08:34:21Z)
• Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models [62.4691912312317]
  Mixture-of-Experts (MoE)言語モデルは、性能を犠牲にすることなく、高密度モデルと比較して計算コストを2～4ドル削減することができる。 本稿では,強力な計算とパラメータ効率を実現するMOEモデル(DS-MoE)のためのハイブリッド密集型トレーニングおよびスパース推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-08T14:39:49Z)
• Toward Inference-optimal Mixture-of-Expert Large Language Models [55.96674056805708]
  大規模言語モデル(LLM)のスケーリング法則について検討する。 少数の(4/8)専門家を持つMoEsは、同じパフォーマンスで最も効率的なソリューションであるが、トレーニングでは2.5-3.5倍のコストがかかる。 検証損失以外の指標として推論効率を導入することで,MoEのスケーリング法則の改正を提案する。
  論文  参考訳（メタデータ） (2024-04-03T16:33:42Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。