論文の概要: Personalized Federated Fine-tuning for Heterogeneous Data: An Automatic Rank Learning Approach via Two-Level LoRA

• arxiv url: http://arxiv.org/abs/2503.03920v1
• Date: Wed, 05 Mar 2025 21:41:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 16:01:25.466370
• Title: Personalized Federated Fine-tuning for Heterogeneous Data: An Automatic Rank Learning Approach via Two-Level LoRA
• Title（参考訳）: 不均一データに対するパーソナライズされたフェデレーションファインタニング:2レベルLORAによる自動ランク学習手法
• Authors: Jie Hao, Yuman Wu, Ali Payani, Myungjin Lee, Mingrui Liu,
• Abstract要約: PF2LoRAは、2レベルLORAによる新しいアンフェマティックなランク学習アプローチに基づいて構築された、パーソナライズされたファインチューニングアルゴリズムである 自然言語理解および生成タスクに関する実験により,PF2LoRAが既存のファインチューニング手法よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 14.786030311860145
• License:
• Abstract: We study the task of personalized federated fine-tuning with heterogeneous data in the context of language models, where clients collaboratively fine-tune a language model (e.g., BERT, GPT) without sharing their local data, achieving personalization simultaneously. While recent efforts have applied parameter-efficient fine-tuning techniques like low-rank adaptation (LoRA) in federated settings, they typically use single or multiple independent low-rank adapters with predefined maximal and minimal ranks, which may not be optimal for diverse data sources over clients. To address this issue, we propose PF2LoRA, a new personalized federated fine-tuning algorithm built on a novel \emph{automatic rank learning approach via two-level LoRA}. Given the pretrained language model whose weight is frozen, our algorithm aims to learn two levels of adaptation simultaneously: the first level aims to learn a common adapter for all clients, while the second level fosters individual client personalization. A key advantage of PF2LoRA is its ability to adaptively determine a suitable rank based on an individual client's data, rather than relying on a predefined rank that is agnostic to data heterogeneity. We present a synthetic example that highlights how PF2LoRA automatically learns the ground-truth rank for each client, tailoring the adaptation to match the properties of their individual data. Notably, this approach introduces minimal additional memory overhead, as the second-level adaptation comprises a small number of parameters compared to the first level. Our experiments on natural language understanding and generation tasks demonstrate that PF2LoRA significantly outperforms existing federated fine-tuning methods.
• Abstract（参考訳）: 言語モデルでは、クライアントがローカルデータを共有せずに言語モデル(例えばBERT、GPT)を協調的に微調整し、同時にパーソナライズする。 最近の研究は、フェデレートされた設定に低ランク適応(LoRA)のようなパラメータ効率の細かい調整技術を適用しているが、それらは通常、あらかじめ定義された最大と最小のランクを持つ単一のまたは複数の独立した低ランクアダプタを使用し、クライアント上の多様なデータソースには最適ではないかもしれない。 この問題に対処するため,PF2LoRAを提案する。PF2LoRAは,2レベルLoRAを用いた新しいランク学習手法をベースとした,パーソナライズされたファインチューニングアルゴリズムである。 重みが凍結された事前学習言語モデルを考えると,本アルゴリズムは2つの適応レベルを同時に学習することを目的としており,第1レベルはすべてのクライアントに対する共通アダプタを学習することを目的としており,第2レベルは個々のクライアントのパーソナライズを促進する。 PF2LoRAの重要な利点は、データ不均一性に依存しない事前定義されたランクに頼るのではなく、個々のクライアントのデータに基づいて適切なランクを適応的に決定できることである。 本稿では、PF2LoRAが各クライアントに対して、それぞれのデータの性質に適合するように適応を調整して、自動的に地平線ランクを学習する方法を示す合成例を示す。 特に、第2レベル適応は第1レベルと比較して少数のパラメータを含むため、メモリオーバーヘッドが最小限に抑えられる。 自然言語理解および生成タスクに関する実験により,PF2LoRAが既存のファインチューニング手法よりも優れていることが示された。

関連論文リスト

• Dual-Criterion Model Aggregation in Federated Learning: Balancing Data Quantity and Quality [0.0]
  フェデレートラーニング(FL)は、プライバシ保護のための協調学習の鍵となる方法の1つとなっている。 集約アルゴリズムは、システムの有効性と安全性を確保する上で最も重要なコンポーネントの1つとして認識される。 本研究では,クライアントノードからのデータ量と品質を含む新しい二項重み付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-12T14:09:16Z)
• Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
  マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。 FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。 人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
  論文  参考訳（メタデータ） (2024-10-04T15:11:15Z)
• Personalized federated learning based on feature fusion [2.943623084019036]
  フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。 pFedPMと呼ばれる個人化学習手法を提案する。 このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
  論文  参考訳（メタデータ） (2024-06-24T12:16:51Z)
• MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
  一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。 本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。 提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
  論文  参考訳（メタデータ） (2024-04-14T12:22:42Z)
• Communication-Efficient Personalized Federated Learning for Speech-to-Text Tasks [64.02867484165476]
  プライバシー保護と法的規制を満たすために、連邦学習(FL)は、音声テキスト(S2T)システムのトレーニングにおいて大きな注目を集めている。 S2Tタスクで一般的に使用されるFLアプローチ(textscFedAvg)は、通常、広範な通信オーバーヘッドに悩まされる。 我々は、クライアント側チューニングとサーバとのインタラクションのための軽量なLoRAモジュールであるtextscFedLoRA と、$k$-near を備えたグローバルモデルである textscFedMem を導入したパーソナライズされたS2Tフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-18T15:39:38Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Collaborative Chinese Text Recognition with Personalized Federated Learning [61.34060587461462]
  中国語のテキスト認識では、ある組織が類似の組織から大量のデータを収集することがしばしば必要である。 アドレスや電話番号などのテキストデータに個人情報が自然に存在するため、異なる組織はプライベートデータを共有したくない。 中国語テキスト認識タスクにパーソナライズド・フェデレーション・ラーニング(pFL)を導入し,pFedCRアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-09T16:51:00Z)
• Optimizing Server-side Aggregation For Robust Federated Learning via Subspace Training [80.03567604524268]
  クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。 サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。 本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
  論文  参考訳（メタデータ） (2022-11-10T13:20:56Z)
• Personalized Federated Learning with Exact Stochastic Gradient Descent [15.666401346622575]
  我々は、勾配SGD降下の正確な更新を実現するためのパーソナライズされたベンチマークに対する新しいアプローチを提案する。 本稿では、各最適化ラウンドにおいて、ランダムに選択されたクライアントが、損失関数の最適化に向けてクライアント固有の更新を行う新しいSGD型スキームを提案する。 これにより、クライアントと一般的なパラメータによって実行されるパーソナライズされたパラメータの正確な最小化が可能になる。
  論文  参考訳（メタデータ） (2022-02-20T16:11:20Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。