論文の概要: FedP$^2$EFT: Federated Learning to Personalize Parameter Efficient Fine-Tuning for Multilingual LLMs

• arxiv url: http://arxiv.org/abs/2502.04387v1
• Date: Wed, 05 Feb 2025 21:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:58:31.682588
• Title: FedP$^2$EFT: Federated Learning to Personalize Parameter Efficient Fine-Tuning for Multilingual LLMs
• Title（参考訳）: FedP$^2$EFT:多言語LLMのためのパラメータ効率の良い微調整をパーソナライズするためのフェデレーション学習
• Authors: Royson Lee, Minyoung Kim, Fady Rezk, Rui Li, Stylianos I. Venieris, Timothy Hospedales,
• Abstract要約: フェデレートラーニング(FL)は多言語多言語大言語モデル(LLM)を多言語多言語多言語データで訓練することを可能にする。 We propose FedP$2$EFT, a federated learning-to-personalize method for multilingual LLMs in cross-device FL settings。
• 参考スコア（独自算出の注目度）: 23.894834680235924
• License:
• Abstract: Federated learning (FL) has enabled the training of multilingual large language models (LLMs) on diverse and decentralized multilingual data, especially on low-resource languages. To improve client-specific performance, personalization via the use of parameter-efficient fine-tuning (PEFT) modules such as LoRA is common. This involves a personalization strategy (PS), such as the design of the PEFT adapter structures (e.g., in which layers to add LoRAs and what ranks) and choice of hyperparameters (e.g., learning rates) for fine-tuning. Instead of manual PS configuration, we propose FedP$^2$EFT, a federated learning-to-personalize method for multilingual LLMs in cross-device FL settings. Unlike most existing PEFT structure selection methods, which are prone to overfitting low-data regimes, FedP$^2$EFT collaboratively learns the optimal personalized PEFT structure for each client via Bayesian sparse rank selection. Evaluations on both simulated and real-world multilingual FL benchmarks demonstrate that FedP$^2$EFT largely outperforms existing personalized fine-tuning methods, while complementing a range of existing FL methods.
• Abstract（参考訳）: フェデレートラーニング(FL)は多言語大言語モデル(LLM)を多言語多言語多言語データ、特に低リソース言語で訓練することを可能にする。 クライアント固有の性能を改善するため、LoRAなどのPEFTモジュールを用いたパーソナライズが一般的である。 これはパーソナライズ戦略(PS)、例えばPEFTアダプタ構造(例えば、LoRAとどのランクを付ける層)の設計、微調整のためのハイパーパラメータ(例えば、学習率)の選択などである。 手動PS設定の代わりに、デバイス間FL設定における多言語LLMのためのフェデレート学習対個人化手法であるFedP$^2$EFTを提案する。 従来のPEFT構造選択手法とは異なり、FedP$^2$EFT はベイズ的スパース階数選択によって各クライアントに対して最適なパーソナライズされたPEFT構造を協調的に学習する。 FedP$^2$EFT は既存のパーソナライズされた微調整手法よりも優れており、既存のFL手法を補完するものである。

関連論文リスト

• Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
  大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。 FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。 提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
  論文  参考訳（メタデータ） (2024-10-16T23:50:39Z)
• Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation [12.19025665853089]
  従来のフェデレートラーニングアプローチでは、グローバルモデルはデータの不均一性に直面するとパフォーマンスが低下する。 我々は,FedPFTと呼ばれる新しいPFLフレームワークを提案し,特徴抽出器の品質を高めつつミスマッチ問題に対処する。 実験の結果,FedPFTは最先端の手法より最大7.08%優れていた。
  論文  参考訳（メタデータ） (2024-07-23T02:52:52Z)
• Personalized Multi-tier Federated Learning [7.124736158080938]
  パーソナライズド・フェデレーション・ラーニング(PerFL)の主な課題は、安価な通信でデータの統計特性を捉え、参加するデバイスにカスタマイズされたパフォーマンスを得ることである。 我々は,多層アーキテクチャ(PerMFL)における個人化フェデレーション学習を導入し,デバイス間でチーム構造が知られている場合に,最適化されたパーソナライズされたローカルモデルを得る。
  論文  参考訳（メタデータ） (2024-07-19T12:31:15Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 プルーニングプロセス自体を最適化するためには、パラメータの代わりにサーバとクライアントの間でしきい値だけが通信される。 グローバルしきい値は、集約されたパラメータの重要度を抽出することで、モデルパラメータの更新に使用される。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning [40.16581292336117]
  フェデレートラーニング(FL)の多くの応用において、クライアントはローカルデータを用いてパーソナライズされたモデルを求めているが、一般的なグローバルな知識を保持するという意味でも堅牢である。 フェデレーションシステムの設計において、このパーソナライゼーションとロバストネスのトレードオフをどのようにナビゲートするかを理解することは重要である。
  論文  参考訳（メタデータ） (2023-10-06T23:46:33Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• AutoPEFT: Automatic Configuration Search for Parameter-Efficient Fine-Tuning [77.61565726647784]
  ニューラルアーキテクチャ検索の進歩により,自動PEFT設定選択のためのAutoPEFTを提案する。 本稿では,AutoPEFTが検出した構成が既存のPEFT法よりも大幅に優れており,FFTと同等かそれ以上であることを示す。
  論文  参考訳（メタデータ） (2023-01-28T08:51:23Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
  フェデレートラーニング(FL)は異種分散データに対して脆弱である。 この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。 既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。 我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
  論文  参考訳（メタデータ） (2022-01-27T08:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。