論文の概要: EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models

• arxiv url: http://arxiv.org/abs/2402.00518v1
• Date: Thu, 1 Feb 2024 11:39:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 15:39:10.472352
• Title: EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models
• Title（参考訳）: EE-Tuning: 初期段階の大規模言語モデルをチューニングするための経済的だがスケーラブルなソリューション
• Authors: Xuchen Pan, Yanxi Chen, Yaliang Li, Bolin Ding, Jingren Zhou
• Abstract要約: EE-Tuningは、初期段階の大規模言語モデル(LLM)をトレーニング/チューニングするためのソリューションである 事前訓練された(そしておそらく微調整された)標準のLCMを、パラメータ効率のよい方法で調整された早期退避層で拡張する。 本実装は、広範囲な性能最適化により、優れたトレーニング効率を実現する。
• 参考スコア（独自算出の注目度）: 75.1814102438065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work introduces EE-Tuning, a lightweight and economical solution to training/tuning early-exit large language models (LLMs). In contrast to the common approach of full-parameter pre-training, EE-Tuning augments any pre-trained (and possibly fine-tuned) standard LLM with additional early-exit layers that are tuned in a parameter-efficient manner, which requires significantly less computational resources and training data. Our implementation of EE-Tuning achieves outstanding training efficiency via extensive performance optimizations, as well as scalability due to its full compatibility with 3D parallelism. Results of systematic experiments validate the efficacy of EE-Tuning, confirming that effective early-exit LLM inference can be achieved with a limited training budget. In hope of making early-exit LLMs accessible to the community, we release the source code of our implementation of EE-Tuning at https://github.com/pan-x-c/EE-LLM.
• Abstract（参考訳）: この研究は、初期の大規模言語モデル(LLM)をトレーニング/チューニングするための軽量で経済的ソリューションであるEE-Tuningを導入している。 フルパラメータ事前トレーニングの一般的なアプローチとは対照的に、EE-Tuningは事前訓練された(おそらくは微調整された)標準LCMをパラメータ効率のよい方法で調整し、計算資源やトレーニングデータを大幅に削減する。 EE-Tuningの実装は、広範囲なパフォーマンス最適化と、3D並列処理との完全な互換性によるスケーラビリティによって、優れたトレーニング効率を実現する。 系統的な実験の結果,脳チューニングの有効性を検証し,限られたトレーニング予算で実効の早期推定が可能であることを確認した。 コミュニティが早期にLLMを利用できるようにしたいので、私たちは https://github.com/pan-x-c/EE-LLMでEE-Tuningの実装のソースコードをリリースします。

関連論文リスト

• The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities [0.35998666903987897]
  本稿では,Large Language Models (LLM) の微調整について検討する。 従来の自然言語処理(NLP)モデルから、AIにおける彼らの重要な役割まで、LLMの歴史的進化を概説している。 本報告では, 微調整LDMのための構造化7段パイプラインについて紹介する。
  論文  参考訳（メタデータ） (2024-08-23T14:48:02Z)
• HFT: Half Fine-Tuning for Large Language Models [42.60438623804577]
  1つ以上の微調整フェーズを持つ大規模言語モデル(LLM)は、様々な機能をアンロックするために必要なステップとなっている。 本稿では,部分的パラメータを定期的にリセットすることで,LLMが元の知識の一部を復元できることを見出した。 本稿では,LLM 用ハーフファインチューニング (HFT) をフルファインチューニング (FFT) の代替として導入し,忘れる問題を緩和する。
  論文  参考訳（メタデータ） (2024-04-29T07:07:58Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• EE-LLM: Large-Scale Training and Inference of Early-Exit Large Language Models with 3D Parallelism [70.07661254213181]
  大規模学習のためのフレームワークであるEE-LLMについて述べる。 Megatron-LMをベースとして、EE-LLMは様々なアルゴリズムの革新と早期終了に適したパフォーマンス最適化を実装している。 解析的および実証的研究により、EE-LLMは無視可能な計算オーバーヘッドで優れたトレーニング効率を達成することが示された。
  論文  参考訳（メタデータ） (2023-12-08T09:31:50Z)
• CoLLiE: Collaborative Training of Large Language Models in an Efficient Way [59.09824823710863]
  CoLLiEは、大規模な言語モデルの協調トレーニングを容易にする効率的なライブラリである。 モジュール設計と包括的な機能により、CoLLiEは効率性、使いやすさ、カスタマイズのバランスのとれたブレンドを提供する。
  論文  参考訳（メタデータ） (2023-12-01T08:02:16Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。