論文の概要: Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly

• arxiv url: http://arxiv.org/abs/2310.03150v2
• Date: Thu, 2 May 2024 10:12:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-03 22:10:30.464750
• Title: Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly
• Title（参考訳）: LLMの極端端のファインチューニング: 良い、悪い、うぬぼれ
• Authors: Herbert Woisetschläger, Alexander Isenko, Shiqiang Wang, Ruben Mayer, Hans-Arno Jacobsen,
• Abstract要約: 本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
• 参考スコア（独自算出の注目度）: 62.473245910234304
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLM) and foundation models are popular as they offer new opportunities for individuals and businesses to improve natural language processing, interact with data, and retrieve information faster. However, training or fine-tuning LLMs requires a vast amount of data, which can be challenging to access due to legal or technical restrictions and may require private computing resources. Federated Learning (FL) is a solution designed to overcome these challenges and expand data access for deep learning applications. This paper takes a hardware-centric approach to explore how LLMs can be brought to modern edge computing systems. Our study fine-tunes the FLAN-T5 model family, ranging from 80M to 3B parameters, using FL for a text summarization task. We provide a micro-level hardware benchmark, compare the model FLOP utilization to a state-of-the-art data center GPU, and study the network utilization in realistic conditions. Our contribution is twofold: First, we evaluate the current capabilities of edge computing systems and their potential for LLM FL workloads. Second, by comparing these systems with a data-center GPU, we demonstrate the potential for improvement and the next steps toward achieving greater computational efficiency at the edge.
• Abstract（参考訳）: 大規模言語モデル(LLM)と基礎モデルは、個人や企業が自然言語処理を改善し、データと対話し、情報を素早く取得する新たな機会を提供するものとして人気がある。 しかし、トレーニングや微調整 LLM は膨大な量のデータを必要とするため、法的あるいは技術的な制約によりアクセスが困難になり、プライベートコンピューティングリソースが必要になる可能性がある。 Federated Learning(FL)は、これらの課題を克服し、ディープラーニングアプリケーションのためのデータアクセスを拡張するために設計されたソリューションである。 本稿では,LLMを現代のエッジコンピューティングシステムにどのように適用できるかを,ハードウェア中心のアプローチで検討する。 本研究は,テキスト要約タスクにFLを用いて,FLAN-T5モデルファミリを80Mから3Bパラメータに微調整する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。 まず、エッジコンピューティングシステムの現在の能力とLLM FLワークロードの可能性を評価します。 第二に、これらのシステムをデータセンターのGPUと比較することにより、改善の可能性と、エッジでの計算効率向上に向けた次のステップを実証する。

関連論文リスト

• The Future of Large Language Model Pre-training is Federated [15.237418036900582]
  我々は,LLM事前学習のための新しいトレーニングパラダイムの調査と開発を可能にする,Photonと呼ばれるスケーラブルなデプロイメントシステムを提案する。 数十億のパラメータを持つLCMを事前学習するために、プライベートデータソースと計算資源とのコラボレーションに関心のある組織がPhotonを利用できることを示す。 さらに,モデルサイズによるフェデレーショントレーニング尺度の有効性を示すとともに,限られた資源を用いて数十億規模のフェデレーションLLMをトレーニングするためのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-17T15:27:52Z)
• Federated Learning: A Cutting-Edge Survey of the Latest Advancements and Applications [6.042202852003457]
  Federated Learning(FL)は、堅牢な機械学習(ML)モデルを開発するためのテクニックである。 ユーザのプライバシを保護するため、FLでは、大量の生データや潜在的機密データを送信するのではなく、モデル更新を送信する必要がある。 このサーベイは、最新のFLアルゴリズムの包括的な分析と比較を提供する。
  論文  参考訳（メタデータ） (2023-10-08T19:54:26Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)
• FedML: A Research Library and Benchmark for Federated Machine Learning [55.09054608875831]
  フェデレート・ラーニング(Federated Learning, FL)は、機械学習の分野で急速に成長している研究分野である。 既存のFLライブラリは多様なアルゴリズム開発を適切にサポートできない。 FLアルゴリズムの開発と公正な性能比較を容易にするための,オープンな研究ライブラリとベンチマークであるFedMLを紹介する。
  論文  参考訳（メタデータ） (2020-07-27T13:02:08Z)
• Evaluating the Communication Efficiency in Federated Learning Algorithms [3.713348568329249]
  近年,多くの国で新たなプライバシー法が制定され,フェデレートラーニング(FL)の概念が導入されている。 FLでは、モバイルユーザーは、プライバシーに敏感なデータを共有せずに、ローカルモデルを集約することでグローバルモデルを学ぶことができる。 これにより、FLを大規模に実装する際の通信コストの課題が提起される。
  論文  参考訳（メタデータ） (2020-04-06T15:31:54Z)
• Federated Learning for Resource-Constrained IoT Devices: Panoramas and State-of-the-art [12.129978716326676]
  我々は最近実装されたフェデレートラーニングの現実的な応用をいくつか紹介する。 大規模ネットワークでは、様々な計算資源を持つクライアントが存在するかもしれない。 FL領域における資源制約装置の今後の方向性を強調した。
  論文  参考訳（メタデータ） (2020-02-25T01:03:29Z)
• Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G Networks [84.2155885234293]
  まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。 このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-02-22T14:38:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。