論文の概要: PanGu-{\Sigma}: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing

• arxiv url: http://arxiv.org/abs/2303.10845v1
• Date: Mon, 20 Mar 2023 03:39:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 17:01:25.015284
• Title: PanGu-{\Sigma}: Towards Trillion Parameter Language Model with Sparse Heterogeneous Computing
• Title（参考訳）: pangu-{\sigma}:疎異種計算を用いた数兆パラメータ言語モデルに向けて
• Authors: Xiaozhe Ren, Pingyi Zhou, Xinfan Meng, Xinjing Huang, Yadao Wang, Weichao Wang, Pengfei Li, Xiaoda Zhang, Alexander Podolskiy, Grigory Arshinov, Andrey Bout, Irina Piontkovskaya, Jiansheng Wei, Xin Jiang, Teng Su, Qun Liu, Jun Yao
• Abstract要約: PanGu-SigmaはAscend 910 AIプロセッサとMindSporeフレームワークのクラスタでトレーニングされている。 さまざまな中国のNLPダウンストリームタスクのゼロショット学習において、最先端のパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 64.53242758625922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The scaling of large language models has greatly improved natural language understanding, generation, and reasoning. In this work, we develop a system that trained a trillion-parameter language model on a cluster of Ascend 910 AI processors and MindSpore framework, and present the language model with 1.085T parameters named PanGu-{\Sigma}. With parameter inherent from PanGu-{\alpha}, we extend the dense Transformer model to sparse one with Random Routed Experts (RRE), and efficiently train the model over 329B tokens by using Expert Computation and Storage Separation(ECSS). This resulted in a 6.3x increase in training throughput through heterogeneous computing. Our experimental findings show that PanGu-{\Sigma} provides state-of-the-art performance in zero-shot learning of various Chinese NLP downstream tasks. Moreover, it demonstrates strong abilities when fine-tuned in application data of open-domain dialogue, question answering, machine translation and code generation.
• Abstract（参考訳）: 大きな言語モデルのスケーリングは、自然言語の理解、生成、推論を大幅に改善した。 本研究では,Ascend 910 AIプロセッサとMindSporeフレームワークのクラスタ上で1兆パラメータ言語モデルを訓練し,PanGu-{\Sigmaという1.085Tパラメータで言語モデルを提示するシステムを開発した。 PanGu-{\alpha} に固有のパラメータにより、高密度トランスフォーマーモデルをRRE(Random Routed Experts)で分離するように拡張し、Expert Computation and Storage separation (ECSS) を用いて329Bトークン上でモデルを効率的にトレーニングする。 これにより、ヘテロジニアスコンピューティングによるトレーニングスループットが6.3倍向上した。 実験の結果,PanGu-{\Sigmaは,中国におけるNLP下流タスクのゼロショット学習において,最先端のパフォーマンスを提供することがわかった。 さらに、オープンドメイン対話、質問応答、機械翻訳、コード生成などのアプリケーションデータに微調整を施すと、強い能力を示す。

関連論文リスト

• Rethinking Optimization and Architecture for Tiny Language Models [39.892066839422796]
  モバイルデバイスにおける言語モデルの適用は、計算とメモリコストに大きな課題に直面している。 本研究では,1Bパラメータを持つ小さな言語モデルに基づいて,各成分の効果を分析するための実験的な研究を慎重に設計する。 いくつかの設計公式は、特に小さな言語モデルに有効であることが実証的に証明されている。
  論文  参考訳（メタデータ） (2024-02-05T07:59:38Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
  本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。 少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:33:21Z)
• mGPT: Few-Shot Learners Go Multilingual [1.4354798873010843]
  本稿では,60言語で訓練された13億のパラメータと13億のパラメータを持つ2つの自己回帰型GPT様モデルを提案する。 我々はGPT-2ソースとスパースアテンション機構を用いてGPT-3アーキテクチャを再現する。 その結果得られたモデルは、Facebookが最近リリースしたXGLMモデルと同等のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-04-15T13:02:33Z)
• Designing Effective Sparse Expert Models [45.21279650229869]
  MoE(Mixture-of-Experts)とSwitch Transformerは、より大きく、より有能な言語モデルへのエネルギー効率の高い経路として提案されている。 しかし、さまざまな自然言語タスクの最先端化は、微調整中にトレーニングの不安定さと不確実な品質によって妨げられている。 計算コストは32Bエンコーダ・デコーダ変換器に匹敵する。
  論文  参考訳（メタデータ） (2022-02-17T21:39:10Z)
• Few-shot Learning with Multilingual Language Models [66.49496434282564]
  多様な言語群をカバーするバランスの取れたコーパス上で,多言語の自動回帰言語モデルを訓練する。 私たちの最大のモデルは、20以上の代表言語で数ショットの学習において、新しい最先端の技術を定めています。 本稿では,モデルがどこで成功し,失敗するかを詳細に分析し,特に言語間の文脈内学習を可能にすることを示す。
  論文  参考訳（メタデータ） (2021-12-20T16:52:35Z)
• GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
  我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。 GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。 GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
  論文  参考訳（メタデータ） (2021-12-13T18:58:19Z)
• PanGu-$\alpha$: Large-scale Autoregressive Pretrained Chinese Language Models with Auto-parallel Computation [58.31465205357637]
  PanGu-$alpha$という,最大200億パラメータの大規模オートレグレッシブ言語モデルをトレーニングするプラクティスを紹介します。 PanGu-$alpha$はMindSporeの下で開発され、2048 Ascend 910 AIプロセッサのクラスタでトレーニングされている。
  論文  参考訳（メタデータ） (2021-04-26T06:59:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。