論文の概要: Adaptive Rank Allocation for Federated Parameter-Efficient Fine-Tuning of Language Models

• arxiv url: http://arxiv.org/abs/2501.14406v1
• Date: Fri, 24 Jan 2025 11:19:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:57:30.711721
• Title: Adaptive Rank Allocation for Federated Parameter-Efficient Fine-Tuning of Language Models
• Title（参考訳）: フェデレーションパラメータ効率の良い言語モデルの微調整のための適応的ランクアロケーション
• Authors: Fei Wu, Jia Hu, Geyong Min, Shiqiang Wang,
• Abstract要約: パラメータ効率の良い言語モデルの微調整のための新しいフェデレーション適応ランクアロケーションであるFederated Adaptive Rank Allocationを提案する。 FedARAは、データ不均一性の下で、さまざまなデータセットで平均8.49%、強いベースライン6.95%の弱いベースラインを一貫して上回っている。 AGX Orin、Orin Nano、Raspberry Pi 5の実験では、それぞれ48.90%、46.95%のトレーニング時間とエネルギー消費が大幅に減少している。
• 参考スコア（独自算出の注目度）: 40.69348434971122
• License:
• Abstract: Pre-trained Language Models (PLMs) have demonstrated their superiority and versatility in modern Natural Language Processing (NLP), effectively adapting to various downstream tasks through further fine-tuning. Federated Parameter-Efficient Fine-Tuning (FedPEFT) has emerged as a promising solution to address privacy and efficiency challenges in distributed training for PLMs on mobile devices. However, our measurements reveal two key limitations of FedPEFT: heterogeneous data leads to significant performance degradation, and a fixed parameter configuration results in communication inefficiency. To overcome these limitations, we propose FedARA, a novel Federated Adaptive Rank Allocation for parameter-efficient fine-tuning of language models. Specifically, FedARA employs truncated singular value decomposition (SVD) adaptation to enhance flexibility and expressiveness, significantly mitigating the adverse effects of data heterogeneity. Subsequently, it utilizes dynamic rank allocation to progressively identify critical ranks, effectively improving communication efficiency. Lastly, it leverages rank-based module pruning to remove inactive modules, steadily reducing local training time and peak memory usage in each round. Extensive experiments show that FedARA consistently outperforms weak baselines by an average of 8.49\% and strong baselines by 6.95\% across various datasets under data heterogeneity while significantly improving communication efficiency by 2.40\(\times\). Moreover, experiments on AGX Orin, Orin Nano and Raspberry Pi 5 devices demonstrate substantial decreases in total training time and energy consumption by up to 48.90\% and 46.95\%, respectively.
• Abstract（参考訳）: プレトレーニング言語モデル (PLMs) は、現在の自然言語処理(NLP)において、その優位性と汎用性を実証しており、さらに微調整によって、下流の様々なタスクに効果的に適応している。 Federated Parameter-Efficient Fine-Tuning (FedPEFT)は、モバイルデバイス上でのPLMの分散トレーニングにおいて、プライバシと効率性の課題に対処する、有望なソリューションとして登場した。 しかし,FedPEFTでは,不均一なデータにより性能が著しく低下し,通信の効率が低下する。 これらの制約を克服するため、パラメータ効率の良い言語モデルの微調整のための新しいFederated Adaptive RankallocationであるFedARAを提案する。 特に、FedARAは、柔軟性と表現性を向上し、データ不均一性の悪影響を著しく軽減するために、切り離された特異値分解(SVD)適応を使用している。 その後、ダイナミックなランク割り当てを利用して、徐々に重要なランクを識別し、通信効率を効果的に向上する。 最後に、ランクベースのモジュールプルーニングを活用して非アクティブなモジュールを削除し、各ラウンドでのローカルトレーニング時間とピークメモリ使用量を着実に削減する。 大規模な実験では、FedARAはデータ不均一性の下で、平均8.49\%、強いベースライン6.95\%で、通信効率は2.40\(\times\)で大幅に向上している。 さらに、AGX Orin、Orin Nano、Raspberry Pi 5の実験では、それぞれ48.90\%と46.95\%のトレーニング時間とエネルギー消費量が大幅に減少している。

関連論文リスト

• Dynamic Noise Preference Optimization for LLM Self-Improvement via Synthetic Data [51.62162460809116]
  我々は、イテレーション間で一貫した改善を保証するために、動的ノイズ優先最適化(DNPO)を導入します。 Zephyr-7Bでの実験では、DNPOは既存の手法を一貫して上回り、平均性能は2.6%向上した。 DNPOは、GPT-4評価のベースラインに比べて29.4%のウィンロス率差で、モデル生成データの品質が大幅に向上したことを示している。
  論文  参考訳（メタデータ） (2025-02-08T01:20:09Z)
• Efficient Deployment of Large Language Models on Resource-constrained Devices [12.644230479753476]
  様々な下流タスクのために、リソース制約されたデバイス上でLLM(Large Language Models)を微調整する必要がある。 FedSpineは、PEFT(Efficient Fine-Tuning)と構造化プルーニングを組み合わせたフレームワークで、リソース制約のあるデバイスにLLMを効率的にデプロイする。 我々はFedSpineが1.4Times$$$timesで微調整を高速化し、最終的な精度を他のベースラインと比べて同じ間隔で0.4%-4.5%向上できることを示した。
  論文  参考訳（メタデータ） (2025-01-05T04:38:11Z)
• Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models [43.26028399395612]
  本稿では,2つの新しい手法を用いたフィッシャー情報に基づく効率的なカリキュラムフェデレート学習フレームワーク(FibecFed)を提案する。 まず,各装置内のデータを適応的にサンプリングし,FL微調整プロセスの有効性を向上させるための漁師情報に基づく手法を提案する。 第2に,グローバルアグリゲーションのための適切なレイヤとLoRAによるローカル更新のためのスパースパラメータを動的に選択する。
  論文  参考訳（メタデータ） (2024-09-30T18:12:18Z)
• APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference [63.52244442498831]
  大規模言語モデル(LM)による微調整と推論は一般的に高価であることが知られている。 LMのパラメータを適応的にプーンし調整するAPTを導入する。 APTは、LMの微調整を最大8倍高速化し、LMのメモリトレーニングのフットプリントを最大70%削減する。
  論文  参考訳（メタデータ） (2024-01-22T18:39:40Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
  FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。 異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。 実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-08-12T10:33:57Z)
• FedDUAP: Federated Learning with Dynamic Update and Adaptive Pruning Using Shared Data on the Server [64.94942635929284]
  フェデレーテッド・ラーニング(FL)は2つの重要な課題、すなわち限られた計算資源と訓練効率の低下に悩まされている。 本稿では,サーバ上の不感なデータとエッジデバイスの分散データを利用する新しいFLフレームワークであるFedDUAPを提案する。 提案するFLモデルであるFedDUAPは,2つの元の手法を統合することで,精度(最大4.8%),効率(最大2.8倍),計算コスト(最大61.9%)において,ベースラインアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2022-04-25T10:00:00Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• Demystify Optimization Challenges in Multilingual Transformers [21.245418118851884]
  ロスランドスケープとパラメータの可塑性の観点から最適化課題を考察する。 不均衡なトレーニングデータは、高いリソース言語と低いリソース言語の間でタスクの干渉を引き起こす。 Curvature Aware Task Scaling (CATS) を提案し、特にリソースの少ない場合の最適化と一般化の両方を改善します。
  論文  参考訳（メタデータ） (2021-04-15T17:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。