論文の概要: CF-LoRA: Decoupled Factor Aggregation and Adaptation-Aware Client Clustering for Federated LoRA Fine-Tuning
- arxiv url: http://arxiv.org/abs/2609.36986v1
- Date: Tue, 29 Sep 2026 08:18:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.315938
- Title: CF-LoRA: Decoupled Factor Aggregation and Adaptation-Aware Client Clustering for Federated LoRA Fine-Tuning
- Title（参考訳）: CF-LoRA:Federated LoRAファインチューニングのための分離された因子集約と適応型クライアントクラスタリング
- Abstract要約: フェデレートされたLoRAファインチューニングは、プライベートデータを共有することなく、事前訓練されたモデルのパラメータ効率の適応を可能にする。
本稿では,非結合因子集約と適応対応クライアントクラスタリングを組み合わせた,クラスタ化フェデレーションLoRAファインチューニングフレームワークCF-LoRAを提案する。
RoBERTaとViTによる4つの言語タスクと4つのビジョンデータセットの実験は、CF-LoRAが両方のモードで最高の平均精度を達成することを示している。
- 参考スコア（独自算出の注目度）: 11.499152917341256
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated LoRA fine-tuning enables parameter-efficient adaptation of pre-trained models without sharing private data, but suffers from two fundamental mismatches under heterogeneous client data: a structural aggregation mismatch caused by independently averaging LoRA factors, and a statistical collaboration mismatch caused by enforcing a single global adapter across divergent clients. To address these issues, we propose CF-LoRA, a clustered federated LoRA fine-tuning framework that combines decoupled factor aggregation with adaptation-aware client clustering. CF-LoRA first learns a globally shared $A$ factor while retaining personalized $B_i$ factors, then identifies clients with similar adaptation patterns based on the cosine similarity of their learned $B_i$ factors, and finally performs intra-cluster $B$-factor aggregation with a frozen $A$ factor. By decoupling LoRA factor aggregation, CF-LoRA preserves the low-rank structure and mitigates the structural aggregation mismatch, while adaptation-aware clustering promotes collaboration among clients with similar adaptation patterns and reduces negative transfer caused by statistical heterogeneity. Experiments on four language tasks and four vision datasets with RoBERTa and ViT show that CF-LoRA achieves the highest average accuracy in both modalities while communicating only one LoRA factor per optimization round.
- Abstract（参考訳）: フェデレートされたLoRAファインチューニングにより、プライベートデータを共有せずに事前訓練されたモデルのパラメータ効率が向上するが、不均一なクライアントデータに基づく2つの基本的なミスマッチに悩まされる。
これらの問題に対処するため, CF-LoRAを提案する。CF-LoRAは, 分離された因子集約と適応対応のクライアントクラスタリングを組み合わせた, クラスタ化されたフェデレーションLoRAファインチューニングフレームワークである。
CF-LoRAはまず、パーソナライズされた$B_i$ファクタを保持しながら、グローバルに共有された$A$ファクタを学習し、その後、学習した$B_i$ファクタのコサイン類似性に基づいて、類似した適応パターンを持つクライアントを特定し、最後に、凍結された$A$ファクタでクラスタ内$B$-factorアグリゲーションを実行する。
LoRA因子の分解により、CF-LoRAは低ランク構造を保ち、構造的凝集ミスマッチを緩和する一方、適応型クラスタリングは、類似した適応パターンでクライアント間の協調を促進し、統計的不均一性による負の移動を低減する。
RoBERTaとViTによる4つの言語タスクと4つのビジョンデータセットの実験により、CF-LoRAは最適化ラウンド毎に1つのLoRA因子のみを通信しながら、両方のモードで最高の平均精度を達成することが示された。
関連論文リスト
- FedLAFP: Low-Rank Aggregation Meets Full-Rank Personalization in Federated Fine-Tuning [11.499152917341256]
フェデレートされたパラメータ効率の微調整により、クライアントは生データを共有したり、完全なモデルを通信したりすることなく、事前訓練されたモデルを適応できる。
既存のパーソナライズされたメソッドは、共有とプライベートの両方に同じ低ランク構造を使用するのが一般的である。
我々は、コンパクトでグローバルに集約されたLoRAブランチとクライアントプライベートでフルランク対応のRandLoRAブランチを結合するロール認識フレームワークであるFedLAFPを提案する。
論文 参考訳（メタデータ） (2026-09-29T08:45:08Z) - CFLoRA: Federated Fine-tuning of LLMs with Complementary Factors for Error-free Aggregation [18.622953516919793]
フェデレートされたローランク適応(LoRA)は、プライベートクライアントデータを集中化せずに、大規模言語モデルの協調的な微調整を可能にする。
既存の正確な方法では、主に全因子を凍結したり、ラウンドをまたいだ要因を交互に更新することでこの問題を解決するが、集約エラーや通信ランクを拡大することなく、同時に要因を更新することはできない。
通信ラウンド毎に2つの補完セットに分割する,連合LoRA方式である textttCFLoRA を提案する。
論文 参考訳（メタデータ） (2026-09-27T03:19:30Z) - Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。
本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
論文 参考訳（メタデータ） (2026-08-10T15:38:45Z) - Amortizing Federated Adaptation: Hypernetwork Driven LoRA for Personalized Foundation Models [7.174865411448373]
Low-Rank Adaptation (LoRA) を用いた基礎モデルのフェデレート微調整は、分散学習のためのコミュニケーション効率の良いソリューションを提供する。
既存のLoRAメソッドには,(1)構造的アグリゲーションバイアス,(2)クライアント側ラグという2つの基本的な制限がある。
我々は、ハイパーネットワーク駆動のLoRA生成と製品空間の集約によるアモータイズされたフェデレーションにより、両方の問題に対処する統一されたフレームワークHyperLoRAを提案する。
論文 参考訳（メタデータ） (2026-06-04T13:28:48Z) - Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。
本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。
SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
論文 参考訳（メタデータ） (2026-03-09T07:49:56Z) - Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation [47.82423317739088]
本稿では, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。
各種LLMおよびVLM微調整タスクの実験により、CE-LoRAは通信オーバーヘッドを著しく低減するだけでなく、独立で同一の分散データ条件下での性能も向上することが示された。
論文 参考訳（メタデータ） (2025-03-31T09:18:42Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳（メタデータ） (2023-11-19T04:43:16Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。