論文の概要: Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models

• arxiv url: http://arxiv.org/abs/2410.00131v1
• Date: Fri, 18 Oct 2024 05:22:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 14:40:28.533238
• Title: Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models
• Title（参考訳）: 釣り情報に基づく大規模言語モデルを用いた効率的なカリキュラムフェデレーション学習
• Authors: Ji Liu, Jiaxiang Ren, Ruoming Jin, Zijie Zhang, Yang Zhou, Patrick Valduriez, Dejing Dou,
• Abstract要約: 本稿では,2つの新しい手法を用いたフィッシャー情報に基づく効率的なカリキュラムフェデレート学習フレームワーク(FibecFed)を提案する。 まず,各装置内のデータを適応的にサンプリングし,FL微調整プロセスの有効性を向上させるための漁師情報に基づく手法を提案する。 第2に,グローバルアグリゲーションのための適切なレイヤとLoRAによるローカル更新のためのスパースパラメータを動的に選択する。
• 参考スコア（独自算出の注目度）: 43.26028399395612
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: As a promising paradigm to collaboratively train models with decentralized data, Federated Learning (FL) can be exploited to fine-tune Large Language Models (LLMs). While LLMs correspond to huge size, the scale of the training data significantly increases, which leads to tremendous amounts of computation and communication costs. The training data is generally non-Independent and Identically Distributed (non-IID), which requires adaptive data processing within each device. Although Low Rank Adaptation (LoRA) can significantly reduce the scale of parameters to update in the fine-tuning process, it still takes unaffordable time to transfer the low-rank parameters of all the layers in LLMs. In this paper, we propose a Fisher Information-based Efficient Curriculum Federated Learning framework (FibecFed) with two novel methods, i.e., adaptive federated curriculum learning and efficient sparse parameter update. First, we propose a fisher information-based method to adaptively sample data within each device to improve the effectiveness of the FL fine-tuning process. Second, we dynamically select the proper layers for global aggregation and sparse parameters for local update with LoRA so as to improve the efficiency of the FL fine-tuning process. Extensive experimental results based on 10 datasets demonstrate that FibecFed yields excellent performance (up to 45.35% in terms of accuracy) and superb fine-tuning speed (up to 98.61% faster) compared with 17 baseline approaches).
• Abstract（参考訳）: 分散データでモデルを協調的にトレーニングするための有望なパラダイムとして、フェデレートラーニング(FL)は、LLM(Large Language Models)に活用することができる。 LLMは巨大なサイズに対応するが、トレーニングデータの規模は大幅に増加し、膨大な計算量と通信コストがもたらされる。 トレーニングデータは一般に非独立で、Identically Distributed(非IID)であり、各デバイスで適応的なデータ処理を必要とする。 低ランク適応(LoRA)は、微調整プロセスで更新するパラメータの規模を著しく削減できるが、LLMのすべてのレイヤの低ランクパラメータを転送するのには、まだ十分な時間を要する。 本稿では,フィッシャー情報に基づく効率的なカリキュラムフェデレーション学習フレームワーク(FibecFed)について,適応型フェデレーション学習と効率的なスパースパラメータ更新の2つの新しい手法を提案する。 まず,各装置内のデータを適応的にサンプリングし,FL微調整プロセスの有効性を向上させるための漁師情報に基づく手法を提案する。 第2に,グローバルアグリゲーションのための適切なレイヤとLoRAによる局所更新のためのスパースパラメータを動的に選択し,FL微調整プロセスの効率化を図る。 10のデータセットに基づく大規模な実験結果によると、FibecFedは17のベースラインアプローチと比較して優れた性能(正確性では最大45.35%)と微調整速度(最大98.61%高速)を達成している。

関連論文リスト

• Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
  Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。 本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。 提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
  論文  参考訳（メタデータ） (2024-10-23T11:47:04Z)
• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification [47.24770508263431]
  画像分類における要件を満たすFiLM Transfer (FiT) を開発した。 FiTは、大規模な画像データセットで事前トレーニングされた固定バックボーンの上に、自動的に設定されたNaive Bayes分類器を使用する。 本研究では, 最先端のBig Transfer (BiT) アルゴリズムよりも, ローショット, 挑戦的なVTAB-1kベンチマークにおいて, 高い分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-17T10:17:20Z)
• FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server [64.94942635929284]
  フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。 本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。 提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-25T10:00:00Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。