論文の概要: Fed-HeLLo: Efficient Federated Foundation Model Fine-Tuning with Heterogeneous LoRA Allocation

• arxiv url: http://arxiv.org/abs/2506.12213v1
• Date: Fri, 13 Jun 2025 20:31:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.485193
• Title: Fed-HeLLo: Efficient Federated Foundation Model Fine-Tuning with Heterogeneous LoRA Allocation
• Title（参考訳）: Fed-HeLLo: ヘテロジニアスロラ配置を用いた効率的なフェデレーションモデルファインチューニング
• Authors: Zikai Zhang, Ping Liu, Jiahao Xu, Rui Hu,
• Abstract要約: フェデレートラーニング(Federated Learning)は、最近、複数のクライアントにまたがるファウンデーションモデルの微調整に活用されている。 既存の手法の多くは、クライアントの不均一なリソースを考慮に入れたり、効果的なローカルトレーニング戦略を欠いている。 我々は,Fed-HeLLoを提案する。フェデレートされたLoRAベースのファインチューニングフレームワークで,クライアントがFMと異なるローカルトレーニング可能なLoRA層を協調的に微調整できる。
• 参考スコア（独自算出の注目度）: 11.10244162253018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning has recently been utilized to collaboratively fine-tune foundation models across multiple clients. Notably, federated low-rank adaptation LoRA-based fine-tuning methods have recently gained attention, which allows clients to fine-tune FMs with a small portion of trainable parameters locally. However, most existing methods do not account for the heterogeneous resources of clients or lack an effective local training strategy to maximize global fine-tuning performance under limited resources. In this work, we propose Fed-HeLLo, a novel federated LoRA-based fine-tuning framework that enables clients to collaboratively fine-tune an FM with different local trainable LoRA layers. To ensure its effectiveness, we develop several heterogeneous LoRA allocation (HLA) strategies that adaptively allocate local trainable LoRA layers based on clients' resource capabilities and the layer importance. Specifically, based on the dynamic layer importance, we design a Fisher Information Matrix score-based HLA that leverages dynamic gradient norm information. To better stabilize the training process, we consider the intrinsic importance of LoRA layers and design a Geometrically-Defined HLA strategy. It shapes the collective distribution of trainable LoRA layers into specific geometric patterns, such as Triangle, Inverted Triangle, Bottleneck, and Uniform. Moreover, we extend GD-HLA into a randomized version, named Randomized Geometrically-Defined HLA, for enhanced model accuracy with randomness. By co-designing the proposed HLA strategies, we incorporate both the dynamic and intrinsic layer importance into the design of our HLA strategy. We evaluate our approach on five datasets under diverse federated LoRA fine-tuning settings, covering three levels of data distribution from IID to extreme Non-IID. Results show that Fed-HeLLo with HLA strategies is both effective and efficient.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、最近、複数のクライアントにまたがるファウンデーションモデルの微調整に活用されている。 特に、フェデレートされたローランク適応LoRAに基づく微調整手法が最近注目されており、クライアントは訓練可能なパラメータのごく一部を局所的に微調整できる。 しかし,既存の手法では,クライアントの異種資源を考慮しない場合や,限られたリソース下でのグローバル微調整性能を最大化するための効果的なローカルトレーニング戦略が欠如している場合が多い。 本稿では,Fed-HeLLoを提案する。フェデレートされたLoRAベースのファインチューニングフレームワークで,クライアントがFMを異なるローカルトレーニング可能なLoRA層で微調整できる。 その有効性を確保するため,クライアントのリソース能力とレイヤの重要性に基づいて,ローカルトレーニング可能なLoRA層を適応的に割り当てるヘテロジニアスなLoRAアロケーション(HLA)戦略を開発した。 具体的には、動的層の重要性に基づいて、動的勾配ノルム情報を利用するフィッシャー情報行列スコアに基づくHLAを設計する。 トレーニングプロセスの安定化を図るため,本質的なLoRA層の重要性を考察し,幾何学的に決定されたHLA戦略を設計する。 トレーニング可能なLoRA層の集合分布を、三角形、反転三角形、ボトルネック、ユニフォームのような特定の幾何学的パターンに形成する。 さらに、GD-HLAをランダム化バージョン、Randomized Geometrically-Defined HLAに拡張し、モデル精度をランダム性で向上する。 提案するHLA戦略を共同設計することにより,動的および内在的な層の重要性をHLA戦略の設計に組み込む。 IIDから極端非IIDまでの3段階のデータ分布を網羅し,多種多様なLoRA微調整環境下での5つのデータセットに対するアプローチを評価した。 その結果,HLA戦略によるFed-HeLLoの有効性と効果が示唆された。

関連論文リスト

• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Exploring Gradient Subspaces: Addressing and Overcoming LoRA's Limitations in Federated Fine-Tuning of Large Language Models [19.533062623518674]
  本稿ではLow-Rank Adaptation (LoRA)を用いたFLフレームワークの収束と性能保証を批判的に分析する。 直接重み付けはLoRAベースの戦略よりも優れており、微調整モデルでは優れた性能が得られることを示す。 以上の結果から,直接重み付けと併用したGaLoreの方が,FlexLoRAやFFA-LoRAといったフェデレートされたLoRA法よりも,テキストや画像のモダリティが優れていることが示唆された。
  論文  参考訳（メタデータ） (2024-10-30T15:23:44Z)
• Fed-piLot: Optimizing LoRA Assignment for Efficient Federated Foundation Model Fine-Tuning [11.10244162253018]
  ヘテロジニアスクライアントのためのローカルLoRA割り当てを最適化したFedFMファインチューニングフレームワークであるFed-piLotを紹介する。 我々は、クライアントのメモリ制約下でのLoRA割り当てを最適化するために、IGスコア(Local-Global Information Gain Score)ベースの値関数を設計する。 IIDおよび非IID条件下での3つのデータセットの実験結果は、Fed-piLotの有効性と効率を示す。
  論文  参考訳（メタデータ） (2024-10-14T06:36:41Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。