Fugu-MT 論文翻訳(概要): Scalable Training of Language Models using JAX pjit and TPUv4

論文の概要: Scalable Training of Language Models using JAX pjit and TPUv4

arxiv url: http://arxiv.org/abs/2204.06514v1
Date: Wed, 13 Apr 2022 17:08:58 GMT
ステータス: 処理完了
システム内更新日: 2022-04-14 12:22:33.176978
Title: Scalable Training of Language Models using JAX pjit and TPUv4
Title（参考訳）: JAX pjit と TPUv4 を用いた言語モデルのスケーラブルなトレーニング
Authors: Joanna Yoo, Kuba Perlin, Siddhartha Rao Kamalakara, Jo\~ao G.M. Ara\'ujo
Abstract要約: 現代の大規模言語モデルは、そのサイズのために分散トレーニング戦略を必要とする。それらを効率的かつ堅牢にトレーニングするという課題は、ソフトウェアとハードウェアのフロンティアの両方で急速に進展している。
参考スコア（独自算出の注目度）: 3.441021278275805
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern large language models require distributed training strategies due to their size. The challenges of efficiently and robustly training them are met with rapid developments on both software and hardware frontiers. In this technical report, we explore challenges and design decisions associated with developing a scalable training framework, and present a quantitative analysis of efficiency improvements coming from adopting new software and hardware solutions.
Abstract（参考訳）: 現代の大規模言語モデルは、そのサイズのために分散トレーニング戦略を必要とする。効率的かつ堅牢なトレーニングの課題は、ソフトウェアとハードウェアのフロンティアの両方で急速に進展している。本稿では,スケーラブルなトレーニングフレームワークの開発に伴う課題と設計上の決定について検討し,新しいソフトウェアおよびハードウェアソリューションの採用による効率改善の定量的分析を行う。

関連論文リスト

Hardware Scaling Trends and Diminishing Returns in Large-Scale Distributed Training [29.44470664154098]
ハードウェア構成と並列化戦略の注意深い検討が,モデルサイズ,トレーニングデータ,総計算の効果的なスケーリングに重要であることを示す。我々は、モデルサイズ、ハードウェア構成、分散並列化戦略における大規模LLMトレーニングワークロードの性能に関する広範な実証的研究を行う。
論文参考訳（メタデータ） (2024-11-20T06:05:11Z)
Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
論文参考訳（メタデータ） (2024-10-11T23:29:20Z)
A Survey: Collaborative Hardware and Software Design in the Era of Large Language Models [16.250856588632637]
大規模言語モデル(LLM)の急速な発展は、人工知能の分野を大きく変えた。これらのモデルは多様なアプリケーションに統合され、研究と産業の両方に影響を及ぼす。本稿では,大規模言語モデルの特徴と制約に対処するために,ハードウェアとソフトウェアの共同設計手法について検討する。
論文参考訳（メタデータ） (2024-10-08T21:46:52Z)
Applied Federated Model Personalisation in the Industrial Domain: A Comparative Study [5.999474111757664]
この課題に取り組むための3つの戦略は、アクティブラーニング、知識蒸留、局所記憶である。本研究は,これら3つのアプローチの基本原理を考察し,先進的なフェデレートラーニングシステムを提案する。元のモデルと最適化されたモデルの結果は、比較分析を用いて局所的およびフェデレーションされた文脈で比較される。
論文参考訳（メタデータ） (2024-09-10T23:00:19Z)
Emerging Platforms Meet Emerging LLMs: A Year-Long Journey of Top-Down Development [20.873143073842705]
TapMLは、さまざまなプラットフォームへの機械学習システムのデプロイを合理化するために設計された、トップダウンのアプローチとツーリングである。従来のボトムアップメソッドとは異なり、TapMLはユニットテストを自動化し、徐々にモデルの計算をオフロードするためのマイグレーションベースの戦略を採用する。 TapMLは1年間にわたる現実世界の取り組みを通じて開発され、重要な新興モデルやプラットフォームをデプロイすることに成功しました。
論文参考訳（メタデータ） (2024-04-14T06:09:35Z)
Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文参考訳（メタデータ） (2024-01-11T15:02:15Z)
Understanding LLMs: A Comprehensive Overview from Training to Inference [52.70748499554532]
大規模言語モデルの低コストなトレーニングと展開は、将来の開発トレンドを表している。トレーニングに関する議論には、データ前処理、トレーニングアーキテクチャ、事前トレーニングタスク、並列トレーニング、モデル微調整に関連する関連コンテンツなど、さまざまな側面が含まれている。推論の面では、モデル圧縮、並列計算、メモリスケジューリング、構造最適化などのトピックを取り上げている。
論文参考訳（メタデータ） (2024-01-04T02:43:57Z)
CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
論文参考訳（メタデータ） (2023-12-01T08:02:16Z)
On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
論文参考訳（メタデータ） (2023-04-07T11:13:23Z)
Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。 50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
論文参考訳（メタデータ） (2021-09-22T00:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。