論文の概要: RedCoast: A Lightweight Tool to Automate Distributed Training of LLMs on Any GPU/TPUs

• arxiv url: http://arxiv.org/abs/2310.16355v2
• Date: Thu, 8 Feb 2024 23:36:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 20:20:22.975271
• Title: RedCoast: A Lightweight Tool to Automate Distributed Training of LLMs on Any GPU/TPUs
• Title（参考訳）: redcoast:gpu/tpus上でllmの分散トレーニングを自動化する軽量ツール
• Authors: Bowen Tan, Yun Zhu, Lijuan Liu, Hongyi Wang, Yonghao Zhuang, Jindong Chen, Eric Xing, Zhiting Hu
• Abstract要約: 大規模言語モデル(LLM)の分散トレーニングと推論を自動化するツールであるRedCoastを紹介する。 また,3つの関数の定義により,多様なMLパイプラインをカスタマイズする機構を提案する。
• 参考スコア（独自算出の注目度）: 33.39013733151192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent progress of AI can be largely attributed to large language models (LLMs). However, their escalating memory requirements introduce challenges for machine learning (ML) researchers and engineers. Addressing this requires developers to partition a large model to distribute it across multiple GPUs or TPUs. This necessitates considerable coding and intricate configuration efforts with existing model parallel tools, such as Megatron-LM, DeepSpeed, and Alpa. These tools require users' expertise in machine learning systems (MLSys), creating a bottleneck in LLM development, particularly for developers without MLSys background. In this work, we present RedCoast(Redco), a lightweight and user-friendly tool crafted to automate distributed training and inference for LLMs, as well as to simplify ML pipeline development. The design of Redco emphasizes two key aspects. Firstly, to automate model parallism, our study identifies two straightforward rules to generate tensor parallel strategies for any given LLM. Integrating these rules into Redco facilitates effortless distributed LLM training and inference, eliminating the need of additional coding or complex configurations. We demonstrate the effectiveness by applying Redco on a set of LLM architectures, such as GPT-J, LLaMA, T5, and OPT, up to the size of 66B. Secondly, we propose a mechanism that allows for the customization of diverse ML pipelines through the definition of merely three functions, avoiding redundant and formulaic code like multi-host related processing. This mechanism proves adaptable across a spectrum of ML algorithms, from foundational language modeling to complex algorithms like meta-learning and reinforcement learning. Consequently, Redco implementations exhibit much fewer code lines compared to their official counterparts.
• Abstract（参考訳）: 最近のAIの進歩は、主に大きな言語モデル(LLM)によるものである。 しかし、そのエスカレートするメモリ要件は、機械学習(ML)の研究者とエンジニアに課題をもたらす。 これに対応するには、開発者は大きなモデルを分割して複数のGPUやTPUに分散する必要がある。 これはMegatron-LM、DeepSpeed、Alpaといった既存のモデル並列ツールによるコーディングと複雑な構成作業を必要とする。 これらのツールは機械学習システム(MLSys)におけるユーザの専門知識を必要とし、特にMLSysのバックグラウンドを持たない開発者にとってLLM開発におけるボトルネックを生み出す。 この作業では、軽量でユーザフレンドリなツールであるRedCoast(Redco)を紹介し、LLMの分散トレーニングと推論を自動化するとともに、MLパイプラインの開発を簡素化する。 Redcoの設計は2つの重要な側面を強調している。 まず,モデルパラリズムを自動化するために,任意の llm に対してテンソル並列戦略を生成するための2つの素直なルールを同定した。 これらのルールをredcoに統合することで、無駄な分散llmトレーニングと推論が容易になり、追加のコーディングや複雑な構成が不要になる。 GPT-J, LLaMA, T5, OPT など一連の LLM アーキテクチャに Redco を適用することで, 最大 66B までの有効性を示す。 第2に,多ホスト関連処理のような冗長で定型的なコードを避けるために,単に3つの関数の定義によって多様なMLパイプラインをカスタマイズする機構を提案する。 このメカニズムは、基礎言語モデリングからメタラーニングや強化学習のような複雑なアルゴリズムまで、MLアルゴリズムの範囲で適応可能であることを証明している。 その結果、Redcoの実装は公式実装に比べてコード行数がはるかに少ない。

関連論文リスト

• DeeR-VLA: Dynamic Inference of Multimodal Large Language Models for Efficient Robot Execution [114.61347672265076]
  実世界のロボットのためのMLLMの開発は、ロボットプラットフォームで利用可能な計算能力とメモリ容量が典型的に限られているため、難しい。 活性化MLLMのサイズを自動的に調整するロボットビジョンランゲージ・アクション・モデル(DeeR)の動的早期実行フレームワークを提案する。 DeeR は LLM の計算コストを 5.2-6.5x に削減し、GPU のメモリを 2-6x に削減した。
  論文  参考訳（メタデータ） (2024-11-04T18:26:08Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [70.19607283302712]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 具体的には,l-MLLMとs-MLLMの視覚的テキスト出力分布のばらつきを最小限に抑えるために,MDist(Multimodal Distillation)を導入する。 また,S-MLLMの可能性を完全に活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• Duo-LLM: A Framework for Studying Adaptive Computation in Large Language Models [16.16372459671255]
  大規模言語モデル(LLM)は通常、固定された計算予算を使用してトークンによって出力トークンを生成する。 LLMの各フィードフォワードネットワーク層に小さな補助モジュールを統合する新しいフレームワークを提案する。 訓練されたルータがオーラクルと異なる動作をしており、しばしば準最適解が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-01T16:10:21Z)
• Rome was Not Built in a Single Step: Hierarchical Prompting for LLM-based Chip Design [22.70660876673987]
  大言語モデル(LLM)は、ハードウェア記述言語(HDL)生成によるコンピュータハードウェア合成に有効である。 しかし、複雑なタスクを扱う場合のHDL生成にLLMが支援するアプローチは難しかった。 本稿では,効率的なステップワイズ設計手法を実現する階層的プロンプト手法について紹介する。
  論文  参考訳（メタデータ） (2024-07-23T21:18:31Z)
• LLaMA-NAS: Efficient Neural Architecture Search for Large Language Models [3.4070166891274263]
  大規模言語モデル(LLM)は、自然言語処理、複雑な推論、感情分析、その他のタスクを解決する。 これらの能力はメモリと計算コストが非常に高く、ほとんどのハードウェアプラットフォームでのLLMの使用を妨げている。 ワンショットNASを用いたLLaMA2-7Bに基づくパレート最適ネットワークアーキテクチャの探索手法を提案する。 特定の標準ベンチマークタスクに対して、事前訓練されたLLaMA2-7Bネットワークは不要に大きく、複雑であることを示す。
  論文  参考訳（メタデータ） (2024-05-28T17:20:44Z)
• Distributed Inference and Fine-tuning of Large Language Models Over The Internet [91.00270820533272]
  大規模言語モデル(LLM)は、多くのNLPタスクで有用であり、サイズが向上する。 これらのモデルはハイエンドのハードウェアを必要とするため、ほとんどの研究者にはアクセスできない。 本研究では,システムスループットの最大化のためにデバイスを自動的に割り当てるフォールトトレラント推論アルゴリズムとロードバランシングプロトコルを開発する。
  論文  参考訳（メタデータ） (2023-12-13T18:52:49Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• MLGO: a Machine Learning Guided Compiler Optimizations Framework [0.0]
  この作業は、実際の設定で複雑なコンパイラパスで機械学習を初めて完全に統合した作業です。 インライン・フォー・サイズモデルのトレーニングには2つの異なるMLアルゴリズムを使用し、最大7%の削減を実現している。 同じモデルは、実世界のターゲットの多様性、そして数ヶ月のアクティブな開発の後、同じターゲットセットにうまく一般化します。
  論文  参考訳（メタデータ） (2021-01-13T00:02:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。