論文の概要: Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation

• arxiv url: http://arxiv.org/abs/2503.23869v1
• Date: Mon, 31 Mar 2025 09:18:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:34:11.716645
• Title: Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation
• Title（参考訳）: Tri-Matrix Adaptationによるコミュニケーション効率と個人化フェデレーションモデルファインチューニング
• Authors: Yongle Li, Bo Liu, Sheng Huang, ZHeng ZHang, Xiaotong Yuan, Richang Hong,
• Abstract要約: 本稿では, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。 各種LLMおよびVLM微調整タスクの実験により、CE-LoRAは通信オーバーヘッドを著しく低減するだけでなく、独立で同一の分散データ条件下での性能も向上することが示された。
• 参考スコア（独自算出の注目度）: 47.82423317739088
• License:
• Abstract: In federated learning, fine-tuning pre-trained foundation models poses significant challenges, particularly regarding high communication cost and suboptimal model performance due to data heterogeneity between the clients. To address these issues, this paper introduces communication-efficient federated LoRA adaption (CE-LoRA), a method that employs a tri-factorization low-rank adaptation approach with personalized model parameter aggregation. We first presents a novel LoRA parameter factorization by introducing a small-size dense matrix, which can significantly reduce the communication cost and achieve comparable empirical performance than transferring the low-rank parameter matrix used by existing methods. Without violating data privacy, the server considers the client similarity in both training dataset and model parameter space, and learns personalized weights for model aggregation. Our experiments on various LLM and VLM fine-tuning tasks demonstrate that CE-LoRA not only significantly reduces communication overhead but also improves performance under not independently and identically distributed data conditions. In addition, CE-LoRA improves data privacy protection, effectively mitigating gradient-based data reconstruction attacks.
• Abstract（参考訳）: フェデレートラーニングにおいて、微調整済み基礎モデルは、特にクライアント間のデータ不均一性による通信コストの増大と最適モデルの性能について重要な課題を提起する。 これらの問題に対処するために, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。 まず,低ランクパラメータ行列の転送よりも通信コストを大幅に削減し,経験的性能に匹敵する性能を実現する,小型の高密度行列を導入することで,新しいLoRAパラメータ分解を提案する。 データプライバシに違反することなく、サーバはトレーニングデータセットとモデルパラメータ空間の両方でクライアントの類似性を考慮し、モデルの集約のためにパーソナライズされた重みを学習する。 各種LLMおよびVLM微調整タスクの実験により,CE-LoRAは通信オーバヘッドを大幅に低減するだけでなく,独立に分散したデータ条件下での性能も向上することが示された。 さらに、CE-LoRAはデータプライバシ保護を改善し、グラデーションベースのデータ再構築攻撃を効果的に軽減する。

関連論文リスト

• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• Enhancing Few-Shot Learning with Integrated Data and GAN Model Approaches [35.431340001608476]
  本稿では,データ拡張とモデルファインチューニングを融合することで,少数ショット学習を向上するための革新的なアプローチを提案する。 薬物発見、ターゲット認識、悪意のあるトラフィック検出などの分野で、小さなサンプルデータによって引き起こされる課題に対処することを目的としている。 その結果,本研究で開発されたMhERGANアルゴリズムは,数発の学習に極めて有効であることが確認された。
  論文  参考訳（メタデータ） (2024-11-25T16:51:11Z)
• Federated LLMs Fine-tuned with Adaptive Importance-Aware LoRA [24.871424801066006]
  LLM(Large Language Models)のフェデレートされた微調整は、データプライバシを保持しながら、さまざまなデータセットにまたがるタスク固有の適応を可能にする。 ヘテロジニアス適応型低ランク適応(LoRA)ファインチューニングLDMフレームワーク(HAFL)を提案する。 提案手法は,低通信サイズで迅速に収束し,クライアントへのモデル配信時の性能劣化を回避する。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
  クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。 この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。 高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-25T11:49:33Z)
• Promoting Data and Model Privacy in Federated Learning through Quantized LoRA [41.81020951061438]
  トレーニング中にモデルのパラメータの量子化されたバージョンを配布するだけでよい方法を紹介します。 我々は、この量子化戦略を、人気かつパラメータ効率の良い微調整法であるLoRAと組み合わせて、フェデレート学習における通信コストを大幅に削減する。 提案したフレームワークはtextscFedLPP と呼ばれ、フェデレートされた学習コンテキストにおけるデータとモデルのプライバシの両立を実現している。
  論文  参考訳（メタデータ） (2024-06-16T15:23:07Z)
• Selective Knowledge Sharing for Personalized Federated Learning Under Capacity Heterogeneity [12.333226301343029]
  Pa3dFLは、容量不均一なモデル間で知識を分離し、選択的に共有することで、局所モデルの性能を向上させるために設計された新しいフレームワークである。 本研究では,Pa3dFLの有効性を評価するために,3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-31T02:59:25Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。