論文の概要: Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models

• arxiv url: http://arxiv.org/abs/2501.12370v1
• Date: Tue, 21 Jan 2025 18:51:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:24:41.154020
• Title: Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for Mixture-of-Experts Language Models
• Title（参考訳）: パラメータ対FLOP:Mixture-of-Experts言語モデルにおける最適スパシティのスケーリング法則
• Authors: Samira Abnar, Harshay Shah, Dan Busbridge, Alaaeldin Mohamed Elnouby Ali, Josh Susskind, Vimal Thilak,
• Abstract要約: 本研究では,不活性パラメータと全パラメータの比率がモデル性能に与える影響について検討する。 異なる制約の下では、トレーニング効率とモデルパフォーマンスの両方を改善する最適な空間レベルが存在することが分かりました。
• 参考スコア（独自算出の注目度）: 10.517704202614091
• License:
• Abstract: Scaling the capacity of language models has consistently proven to be a reliable approach for improving performance and unlocking new capabilities. Capacity can be primarily defined by two dimensions: the number of model parameters and the compute per example. While scaling typically involves increasing both, the precise interplay between these factors and their combined contribution to overall capacity remains not fully understood. We explore this relationship in the context of sparse Mixture-of-Expert models (MoEs), which allow scaling the number of parameters without proportionally increasing the FLOPs per example. We investigate how varying the sparsity level, i.e., the ratio of non-active to total parameters, affects model performance in terms of both pretraining and downstream performance. We find that under different constraints (e.g. parameter size and total training compute), there is an optimal level of sparsity that improves both training efficiency and model performance. These results provide a better understanding of the impact of sparsity in scaling laws for MoEs and complement existing works in this area, offering insights for designing more efficient architectures.
• Abstract（参考訳）: 言語モデルのキャパシティを拡大することは、パフォーマンスを改善し、新しい機能をアンロックするための信頼性の高いアプローチであることが一貫して証明されている。 キャパシティは、主にモデルパラメータの数と例ごとの計算の2つの次元で定義される。 スケーリングは通常、両方を拡大するが、これらの要因間の正確な相互作用と、全体的な能力への貢献は、まだ完全には理解されていない。 この関係を,サンプルあたりのFLOPを比例的に増加させることなくパラメータ数をスケールできる,スパース・ミックス・オブ・エクスプット・モデル(MoEs)の文脈で検討する。 本研究では,非アクティブパラメータと全パラメータの比率が,事前学習と下流性能の両面でモデル性能に与える影響について検討する。 異なる制約(例えばパラメータサイズと総トレーニング計算)の下では、トレーニング効率とモデルパフォーマンスの両方を改善するための最適レベルの空間があることが分かりました。 これらの結果は、MoEsのスケーリング法則における疎結合の影響をよりよく理解し、この分野における既存の作業を補完し、より効率的なアーキテクチャを設計するための洞察を提供する。

関連論文リスト

• Efficient Source-Free Time-Series Adaptation via Parameter Subspace Disentanglement [0.7558576228782637]
  我々は、効率的なソースフリードメイン適応(SFDA)のためのフレームワークを提案する。 提案手法は,ソースモデル作成およびターゲット側適応のための改良されたパラダイムを導入する。 我々は,本フレームワークが様々なSFDA法と互換性があり,計算効率が高いことを実証した。
  論文  参考訳（メタデータ） (2024-10-03T02:12:03Z)
• Observational Scaling Laws and the Predictability of Language Model Performance [51.2336010244645]
  本稿では、モデルトレーニングを回避し、100のパブリックモデルからスケーリング法則を構築する観察的アプローチを提案する。 いくつかの創発現象が滑らかでシグモダルな挙動を辿り、小さなモデルから予測可能であることを示す。 言語モデル機能の改善が進むにつれて、Chain-of-ThoughtやSelf-Consistencyといったポストトレーニング介入の影響を予測する方法を示す。
  論文  参考訳（メタデータ） (2024-05-17T17:49:44Z)
• Mixtures of Experts Unlock Parameter Scaling for Deep RL [54.26191237981469]
  本稿では,Mixture-of-Expert(MoE)モジュールを値ベースネットワークに組み込むことで,パラメータスケーラブルなモデルが得られることを示す。 この研究は、強化学習のためのスケーリング法則の開発に関する強力な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-13T17:18:56Z)
• Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks [5.536630285985836]
  パラメータ効率のスペシャリティクラフト (PESC) を導入する。 PESCは、Mix-of-experts (MoE)アーキテクチャを使って、密集したモデルをスパースモデルに加工する。 我々の最良スパースモデルは他のスパースモデルよりも優れ、GP3.5に比べて優れた一般性を示す。
  論文  参考訳（メタデータ） (2024-01-05T09:58:09Z)
• Can pruning make Large Language Models more efficient? [0.0]
  本稿では,トランスフォーマーアーキテクチャの最適化戦略として,ウェイトプルーニングの適用について検討する。 以上の結果から,モデルサイズの大幅な削減は,性能にかなりの妥協を伴わずに達成できることが示唆された。 この作業は、モデル効率とパフォーマンスのギャップを埋め、よりスケーラブルで環境に責任のあるディープラーニングアプリケーションへの道を開くことを目的としています。
  論文  参考訳（メタデータ） (2023-10-06T20:28:32Z)
• Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
  大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。 重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
  論文  参考訳（メタデータ） (2023-09-15T16:29:27Z)
• Understanding Parameter Sharing in Transformers [53.75988363281843]
  トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。 このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。 8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T10:48:59Z)
• A Generic Performance Model for Deep Learning in a Distributed Environment [0.7829352305480285]
  本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。 提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
  論文  参考訳（メタデータ） (2023-05-19T13:30:34Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。