論文の概要: ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation
- arxiv url: http://arxiv.org/abs/2511.16069v1
- Date: Thu, 20 Nov 2025 05:59:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-21 17:08:52.486567
- Title: ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation
- Title（参考訳）: ILoRA: 異種クライアント集約のための低ランク適応によるフェデレーションラーニング
- Authors: Junchao Zhou, Junkang Liu, Fanhua Shang,
- Abstract要約: 3つのコアイノベーションを統合する統合フレームワークであるILoRAを提案する。
ILoRA は既存の連合 LoRA 法よりも精度と収束安定性が優れている。
- 参考スコア（独自算出の注目度）: 15.926254171159146
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning with Low-Rank Adaptation (LoRA) faces three critical challenges under client heterogeneity: (1) Initialization-Induced Instability due to random initialization misaligning client subspaces; (2) Rank Incompatibility and Aggregation Error when averaging LoRA parameters of different ranks, which biases the global model; and (3) exacerbated Client Drift under Non-IID Data, impairing generalization. To address these challenges, we propose ILoRA, a unified framework that integrates three core innovations: a QR-based orthonormal initialization to ensure all clients start in a coherent subspace; a Concatenated QR Aggregation mechanism that fuses heterogeneous-rank updates via concatenation and decomposition, preserving information while maintaining dimension alignment; and an AdamW optimizer with rank-aware control variates to correct local updates and mitigate client drift. Supported by theoretical convergence guarantees, extensive experiments on vision and NLP benchmarks demonstrate that ILoRA consistently achieves superior accuracy and convergence stability compared to existing federated LoRA methods.
- Abstract（参考訳）: 低ランク適応によるフェデレートラーニング(LoRA)は,(1)ランダムな初期化による初期化による不安定性,(2)グローバルモデルに偏った異なるランクのLoRAパラメータを平均化する際のランク不整合と集約誤差,(3)非IIDデータによるクライアントドリフトの悪化,そして一般化を損なうという,クライアントの不均一性の下で3つの重要な課題に直面している。
これらの課題に対処するために、すべてのクライアントがコヒーレントなサブスペースから開始するのを保証するQRベースの正規正規化初期化、結合と分解による異種ランク更新を融合する統合QRアグリゲーション機構、次元アライメントを維持しながら情報を保存するAdamWオプティマイザ、およびローカルアップデートの修正とクライアントのドリフトを緩和するためのランク対応制御を備えたAdamWオプティマイザの3つのコアイノベーションを統合する統合フレームワークであるILoRAを提案する。
理論収束保証、ビジョンおよびNLPベンチマークの広範な実験により、ILoRAは既存の連合LoRA法と比較して常に優れた精度と収束安定性を達成できることを示した。
関連論文リスト
- CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。
CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
論文 参考訳（メタデータ） (2025-10-23T05:10:06Z) - Rediscovering Entropy Regularization: Adaptive Coefficient Unlocks Its Potential for LLM Reinforcement Learning [55.59724323303857]
本稿では,3つのコンポーネントによる探索と利用のバランスをとるフレームワークを提案する。
複数の数学的推論ベンチマークの実験は、AERが一貫してベースラインを上回り、推論精度と探索能力の両方を改善していることを示している。
論文 参考訳（メタデータ） (2025-10-13T03:10:26Z) - AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。
大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
論文 参考訳（メタデータ） (2025-05-30T16:35:32Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。
この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。
高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
論文 参考訳（メタデータ） (2024-06-25T11:49:33Z) - LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks [52.46420522934253]
本稿では,自己注意ネットワークのためのパラメータ効率のよいアンサンブル手法であるLoRA-Ensembleを紹介する。
この方法は、BatchEnsembleのような最先端の暗黙のテクニックを上回るだけでなく、Explicit Ensembleの正確さにマッチするか超える。
論文 参考訳（メタデータ） (2024-05-23T11:10:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。