論文の概要: Scaling Laws Across Model Architectures: A Comparative Analysis of Dense and MoE Models in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.05661v1
• Date: Tue, 8 Oct 2024 03:21:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 17:19:21.119435
• Title: Scaling Laws Across Model Architectures: A Comparative Analysis of Dense and MoE Models in Large Language Models
• Title（参考訳）: モデルアーキテクチャ全体にわたる法則のスケーリング:大規模言語モデルにおけるDenseとMoEモデルの比較分析
• Authors: Siqi Wang, Zhengyu Chen, Bei Li, Keqing He, Min Zhang, Jingang Wang,
• Abstract要約: 大規模言語モデル(LLM)のスケーリングは、モデルトレーニングとデプロイメントの効率性と効率性にとって重要な研究領域である。 本研究は,Dense Models と MoE Model のスケーリング法則の伝達性と相違について検討する。
• 参考スコア（独自算出の注目度）: 34.79589443380606
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The scaling of large language models (LLMs) is a critical research area for the efficiency and effectiveness of model training and deployment. Our work investigates the transferability and discrepancies of scaling laws between Dense Models and Mixture of Experts (MoE) models. Through a combination of theoretical analysis and extensive experiments, including consistent loss scaling, optimal batch size and learning rate scaling, and resource allocation strategies scaling, our findings reveal that the power-law scaling framework also applies to MoE Models, indicating that the fundamental principles governing the scaling behavior of these models are preserved, even though the architecture differs. Additionally, MoE Models demonstrate superior generalization, resulting in lower testing losses with the same training compute budget compared to Dense Models. These findings indicate the scaling consistency and transfer generalization capabilities of MoE Models, providing new insights for optimizing MoE Model training and deployment strategies.
• Abstract（参考訳）: 大規模言語モデル(LLM)のスケーリングは、モデルトレーニングとデプロイメントの効率性と効率性にとって重要な研究領域である。 本研究では,Dense ModelsとMixture of Experts (MoE)モデル間のスケーリング法則の伝達可能性と相違について検討する。 本研究は,一貫した損失のスケーリング,最適バッチサイズ,学習率のスケーリング,資源配分戦略のスケーリングなど,理論解析と広範な実験を組み合わせることで,MoEモデルにもパワーロースケーリングフレームワークが適用され,アーキテクチャの違いにもかかわらず,これらのモデルのスケーリング動作を規定する基本原則が保存されていることを示す。 さらに、MoEモデルはより優れた一般化を示し、結果としてDense Modelsと比較して、同じトレーニング計算予算でテスト損失が減少する。 これらの結果は、MoEモデルのスケーリング一貫性と転送一般化能力を示し、MoEモデルのトレーニングとデプロイメント戦略を最適化するための新たな洞察を提供する。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Fine-tuning large language models for domain adaptation: Exploration of training strategies, scaling, model merging and synergistic capabilities [4.389938747401259]
  本研究は、材料科学や工学などの分野における大規模言語モデル(LLM)に対する微調整戦略の効果について考察する。 複数の微調整モデルの融合は、親モデルの個々の貢献を超越した能力の出現につながる可能性がある。
  論文  参考訳（メタデータ） (2024-09-05T11:49:53Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
  本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。 分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。 LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-05-02T02:20:12Z)
• Mixtures of Experts Unlock Parameter Scaling for Deep RL [54.26191237981469]
  本稿では,Mixture-of-Expert(MoE)モジュールを値ベースネットワークに組み込むことで,パラメータスケーラブルなモデルが得られることを示す。 この研究は、強化学習のためのスケーリング法則の開発に関する強力な実証的証拠を提供する。
  論文  参考訳（メタデータ） (2024-02-13T17:18:56Z)
• Scaling Vision-Language Models with Sparse Mixture of Experts [128.0882767889029]
  提案手法は, 等価計算コストの高密度モデルに対して, 様々なベンチマークにおいて, 最先端性能を実現することができることを示す。 我々の研究は、MoEモデルのトレーニングの安定化、モデル解釈可能性に対するMoEの影響の理解、ビジョン言語モデルをスケールする際の計算性能間のトレードオフのバランスに関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-03-13T16:00:31Z)
• Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning [56.50123642237106]
  モデルに基づく強化学習における一般的な実践は、エージェントの環境のあらゆる側面をモデル化するモデルを学ぶことである。 このようなモデルは、生涯にわたる強化学習シナリオにおいて、スケーラブルで堅牢な計画を実行するのに特に適していない、と我々は主張する。 我々は,「最小値部分モデル」と呼ぶ,環境の関連する側面のみをモデル化する新しい種類のモデルを提案する。
  論文  参考訳（メタデータ） (2023-01-24T16:40:01Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)
• Model Embedding Model-Based Reinforcement Learning [4.566180616886624]
  モデルベース強化学習(MBRL)は、モデルフリー強化学習(MFRL)よりもサンプル効率が優れていることを示す。 しかし、データ生成の容易さとモデルのバイアスとの間には、依然としてトレードオフがある。 本稿では,確率的強化学習の枠組みとして,シンプルでエレガントなモデル埋め込み型強化学習(MEMB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。