論文の概要: FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-the-World LoRA

• arxiv url: http://arxiv.org/abs/2503.11880v1
• Date: Fri, 14 Mar 2025 21:07:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:34:27.147655
• Title: FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-the-World LoRA
• Title（参考訳）: FedALT:Res-of-the-World LoRAを用いた適応型ローカルトレーニングによるファインチューニング
• Authors: Jieming Bian, Lei Wang, Letian Zhang, Jie Xu,
• Abstract要約: ファインチューニングされた大型言語モデル(LLM)は、プライバシ保護の適応を可能にするが、モデルアグリゲーションによるクロスクライアント干渉に悩まされる。 我々は,新しいパーソナライズされたLoRAファインチューニングアルゴリズムである textbfFedALT を提案する。 我々は,FedALTが,最先端のパーソナライズされたLoRAファインチューニング手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 5.162783756846019
• License:
• Abstract: Fine-tuning large language models (LLMs) in federated settings enables privacy-preserving adaptation but suffers from cross-client interference due to model aggregation. Existing federated LoRA fine-tuning methods, primarily based on FedAvg, struggle with data heterogeneity, leading to harmful cross-client interference and suboptimal personalization. In this work, we propose \textbf{FedALT}, a novel personalized federated LoRA fine-tuning algorithm that fundamentally departs from FedAvg. Instead of using an aggregated model to initialize local training, each client continues training its individual LoRA while incorporating shared knowledge through a separate Rest-of-the-World (RoTW) LoRA component. To effectively balance local adaptation and global information, FedALT introduces an adaptive mixer that dynamically learns input-specific weightings between the individual and RoTW LoRA components using the Mixture-of-Experts (MoE) principle. Through extensive experiments on NLP benchmarks, we demonstrate that FedALT significantly outperforms state-of-the-art personalized federated LoRA fine-tuning methods, achieving superior local adaptation without sacrificing computational efficiency.
• Abstract（参考訳）: ファインチューニングされた大型言語モデル(LLM)は、プライバシ保護の適応を可能にするが、モデルアグリゲーションによるクロスクライアント干渉に悩まされる。 既存のLoRAファインチューニング手法は、主にFedAvgをベースとして、データ不均一性に苦慮し、有害なクロスクライアント干渉と準最適パーソナライゼーションをもたらす。 そこで本研究では,FedAvg から分離した新しいパーソナライズされた LoRA ファインチューニングアルゴリズムである \textbf{FedALT} を提案する。 集約されたモデルを使ってローカルトレーニングを初期化する代わりに、各クライアントは個々のLoRAをトレーニングし続け、別々のRest-of-the-World (RoTW) LoRAコンポーネントを通じて共有知識を取り入れている。 局所的な適応とグローバル情報のバランスをとるために、FedALTはMixture-of-Experts(MoE)の原理を用いて個人とRoTW LoRAコンポーネント間の入力固有の重み付けを動的に学習する適応ミキサーを導入した。 NLPベンチマークの広範な実験を通じて、FedALTは最先端のパーソナライズされたLoRAファインチューニング手法よりも優れ、計算効率を犠牲にすることなく、より優れた局所適応を実現することを実証した。

関連論文リスト

• LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
  ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。 低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2024-11-22T14:19:01Z)
• FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations [39.88985198467528]
  ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。 我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
  論文  参考訳（メタデータ） (2024-09-09T18:21:23Z)
• Federated LoRA with Sparse Communication [12.965591289179372]
  ローランク適応(ローランク適応、LoRA)は、コミュニケーションに制約のある機械学習設定において微調整を行う自然な方法である。 本研究では,フェデレートされたLoRAにおける通信効率をさらに向上する手法を検討する。
  論文  参考訳（メタデータ） (2024-06-07T19:42:05Z)
• Locally Estimated Global Perturbations are Better than Local Perturbations for Federated Sharpness-aware Minimization [81.32266996009575]
  フェデレートラーニング(FL)では、クライアント間の複数ステップの更新とデータの均一性が、よりシャープなミニマによるロスランドスケープにつながることが多い。 クライアント側におけるグローバルな摂動方向を局所的に推定する新しいアルゴリズムであるFedLESAMを提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:46:21Z)
• FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data [46.29190753993415]
  Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。 本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-01-17T05:04:33Z)
• Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models [20.707283766914017]
  HetLoRAはクライアントデバイス間での不均一なランク付けを可能にし、これらの不均一なLoRAモジュールを効率的に集約し、配布する。 HetLoRAは同種LoRAに比べて収束速度と最終性能が向上する。
  論文  参考訳（メタデータ） (2024-01-12T07:52:07Z)
• pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning [35.59830784463706]
  フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。 我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。 2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-10-20T05:24:28Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。