論文の概要: Federated Fine-tuning of Billion-Sized Language Models across Mobile Devices

• arxiv url: http://arxiv.org/abs/2308.13894v1
• Date: Sat, 26 Aug 2023 14:36:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 18:17:02.341160
• Title: Federated Fine-tuning of Billion-Sized Language Models across Mobile Devices
• Title（参考訳）: モバイルデバイスにおける数十億もの言語モデルのファインタニング
• Authors: Mengwei Xu, Yaozong Wu, Dongqi Cai, Xiang Li, Shangguang Wang
• Abstract要約: FwdLLMはFedLLMの効率を高めるために設計された革新的なFLプロトコルである。 FwdLLMはバックプロパゲーション(BP)なしのトレーニング手法を採用しており、デバイスは摂動推論のみを実行する必要がある。
• 参考スコア（独自算出の注目度）: 8.520892692833293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are transforming the landscape of mobile intelligence. Federated Learning (FL), a method to preserve user data privacy, is often employed in fine-tuning LLMs to downstream mobile tasks, an approach known as FedLLM. Though recent efforts have addressed the network issue induced by the vast model size, they have not practically mitigated vital challenges concerning integration with mobile devices, such as significant memory consumption and sluggish model convergence. In response to these challenges, this work introduces FwdLLM, an innovative FL protocol designed to enhance the FedLLM efficiency. The key idea of FwdLLM to employ backpropagation (BP)-free training methods, requiring devices only to execute ``perturbed inferences''. Consequently, FwdLLM delivers way better memory efficiency and time efficiency (expedited by mobile NPUs and an expanded array of participant devices). FwdLLM centers around three key designs: (1) it combines BP-free training with parameter-efficient training methods, an essential way to scale the approach to the LLM era; (2) it systematically and adaptively allocates computational loads across devices, striking a careful balance between convergence speed and accuracy; (3) it discriminatively samples perturbed predictions that are more valuable to model convergence. Comprehensive experiments with five LLMs and three NLP tasks illustrate FwdLLM's significant advantages over conventional methods, including up to three orders of magnitude faster convergence and a 14.6x reduction in memory footprint. Uniquely, FwdLLM paves the way for federated learning of billion-parameter LLMs such as LLaMA on COTS mobile devices -- a feat previously unattained.
• Abstract（参考訳）: 大規模言語モデル(llm)は、モバイルインテリジェンスの展望を変えつつある。 ユーザデータのプライバシを保存するためのFederated Learning(FL)は、モバイルタスクをダウンストリームする微調整のLLM(FedLLM)によく使用される。 近年,大規模なモデルサイズによって引き起こされるネットワーク問題に対処してきたが,メモリ消費の大幅な増加やモデル収束の鈍化など,モバイルデバイスとの統合に関する重要な課題は実質的に緩和されていない。 これらの課題に対応するために、FwdLLMはFedLLM効率を高めるために設計された革新的なFLプロトコルである。 FwdLLMのキーとなるアイデアは、バックプロパゲーション(BP)なしのトレーニングメソッドを採用することであり、デバイスは ``perturbed inferences''' を実行するだけでよい。 その結果、FwdLLMはより優れたメモリ効率と時間効率を提供する(モバイルNPUと拡張された多数の参加者デバイスによる)。 fwdllmは,(1)bpフリーなトレーニングとパラメータ効率のよいトレーニング手法を組み合わせることで,llm時代のアプローチをスケールアップする上で不可欠な方法である。(2)デバイス間で計算負荷を体系的かつ適応的に割り当て,収束速度と精度の微妙なバランスをとる。(3)モデル収束においてより価値のある摂動予測を識別的にサンプリングする。 5つのLCMと3つのNLPタスクによる総合的な実験は、FwdLLMの最大3桁の高速収束と14.6倍のメモリフットプリントの削減を含む従来の方法に対する大きな利点を示している。 同様に、FwdLLMは、COTSモバイルデバイス上のLLaMAのような10億パラメータのLLMの連合学習の道を開いた。

関連論文リスト

• eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
  大言語モデル(LLMs)は人工知能(AI)の転換期を告げる 本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T22:50:02Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• FedPT: Federated Proxy-Tuning of Large Language Models on Resource-Constrained Edge Devices [10.01451891927236]
  textbfFederated textbfProxy-textbfTuning (FedPT)は、ブラックボックス大型LMのファインチューニングのための新しいフレームワークである。 FedPTは、競合性能を維持しながら、計算、通信、メモリオーバーヘッドを大幅に削減できる。
  論文  参考訳（メタデータ） (2024-10-01T03:20:39Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• R-SFLLM: Jamming Resilient Framework for Split Federated Learning with Large Language Models [83.77114091471822]
  Split Federated Learning (SFL)は、分散機械学習(ML)における計算効率のパラダイムである。 SFLの課題は、特に無線チャネル上に展開する場合、送信されたモデルパラメータが相手のジャミングに感受性を持つことである。 これは、言語理解に不可欠である大規模言語モデル(LLM)における単語埋め込みパラメータに対して特に顕著である。 無線ネットワーク上でのLLM(R-SFLLM)を用いたレジリエンスSFLのための物理層フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-07-16T12:21:29Z)
• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• EE-LLM: Large-Scale Training and Inference of Early-Exit Large Language Models with 3D Parallelism [70.07661254213181]
  大規模学習のためのフレームワークであるEE-LLMについて述べる。 Megatron-LMをベースとして、EE-LLMは様々なアルゴリズムの革新と早期終了に適したパフォーマンス最適化を実装している。 解析的および実証的研究により、EE-LLMは無視可能な計算オーバーヘッドで優れたトレーニング効率を達成することが示された。
  論文  参考訳（メタデータ） (2023-12-08T09:31:50Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。