論文の概要: Characterization of Large Language Model Development in the Datacenter

• arxiv url: http://arxiv.org/abs/2403.07648v1
• Date: Tue, 12 Mar 2024 13:31:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 21:24:50.564846
• Title: Characterization of Large Language Model Development in the Datacenter
• Title（参考訳）: データセンターにおける大規模言語モデル開発の特徴
• Authors: Qinghao Hu, Zhisheng Ye, Zerui Wang, Guoteng Wang, Meng Zhang, Qiaoling Chen, Peng Sun, Dahua Lin, Xiaolin Wang, Yingwei Luo, Yonggang Wen, Tianwei Zhang
• Abstract要約: 大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
• 参考スコア（独自算出の注目度）: 57.49531095113406
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have presented impressive performance across several transformative tasks. However, it is non-trivial to efficiently utilize large-scale cluster resources to develop LLMs, often riddled with numerous challenges such as frequent hardware failures, intricate parallelization strategies, and imbalanced resource utilization. In this paper, we present an in-depth characterization study of a six-month LLM development workload trace collected from our GPU datacenter Acme. Specifically, we investigate discrepancies between LLMs and prior task-specific Deep Learning (DL) workloads, explore resource utilization patterns, and identify the impact of various job failures. Our analysis summarizes hurdles we encountered and uncovers potential opportunities to optimize systems tailored for LLMs. Furthermore, we introduce our system efforts: (1) fault-tolerant pretraining, which enhances fault tolerance through LLM-involved failure diagnosis and automatic recovery. (2) decoupled scheduling for evaluation, which achieves timely performance feedback via trial decomposition and scheduling optimization.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、いくつかの変換タスクで素晴らしいパフォーマンスを示している。 しかしながら、大規模クラスタリソースを効率的に利用してllmを開発することは、ハードウェア障害の頻繁な発生、複雑な並列化戦略、リソース利用の不均衡など、多くの課題に直面することが少なくない。 本稿では,GPU データセンター Acme から収集した6ヶ月の LLM 開発ワークロードトレースの詳細な特徴について述べる。 具体的には、LCMと従来のタスク固有のDeep Learning(DL)ワークロードの相違を調査し、リソース利用パターンを調査し、さまざまなジョブ障害の影響を明らかにする。 我々の分析は、私たちが遭遇したハードルを要約し、LLMに適したシステムを最適化する潜在的な機会を明らかにします。 さらに,(1) llmによる障害診断と自動リカバリによる耐障害性向上を目的とした耐障害予備訓練について紹介する。 2) 試行錯誤とスケジューリング最適化によるタイムリーな性能フィードバックを実現する評価の分離スケジューリングを行う。

関連論文リスト

• EVOLvE: Evaluating and Optimizing LLMs For Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• RED-CT: A Systems Design Methodology for Using LLM-labeled Data to Train and Deploy Edge Classifiers for Computational Social Science [0.46560775769914914]
  大規模言語モデル(LLM)は、構造化されていない自然言語データを迅速に分析し分類する能力を向上した。 しかしながら、コスト、ネットワーク制限、セキュリティ上の制約に関する懸念は、彼らの作業プロセスへの統合に問題を引き起こしている。 本研究では,下流教師あり学習タスクにおいて,LLMを不完全なデータアノテータとして利用するシステム設計手法を採用する。
  論文  参考訳（メタデータ） (2024-08-15T15:28:37Z)
• Active Testing of Large Language Model via Multi-Stage Sampling [17.89896012553348]
  AcTracerは,大規模言語モデル(LLM)に適した,アクティブなテストフレームワークである。 ほぼ最適な性能推定を達成するために、戦略的にテストデータの小さなサブセットを選択する。 実験の結果,AcTracerは既存手法と比較して最先端の性能を達成できた。
  論文  参考訳（メタデータ） (2024-08-07T06:17:48Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• New Solutions on LLM Acceleration, Optimization, and Application [14.995654657013741]
  大規模言語モデル (LLM) は、様々な応用において人間のような文章を解釈・生成する能力を持つ非常に強力な機器となっている。 しかし、LLMのサイズと複雑さの増大は、トレーニングとデプロイメントの両方において大きな課題をもたらしている。 これらの課題に対処するための最近の進歩と研究の方向性について概観する。
  論文  参考訳（メタデータ） (2024-06-16T11:56:50Z)
• An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
  大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。 本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。 ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
  論文  参考訳（メタデータ） (2024-03-30T08:42:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。