論文の概要: Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning
- arxiv url: http://arxiv.org/abs/2605.05769v1
- Date: Thu, 07 May 2026 07:01:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-08 22:27:11.582926
- Title: Adaptive Selection of LoRA Components in Privacy-Preserving Federated Learning
- Title（参考訳）: プライバシ保護フェデレーション学習におけるLoRA成分の適応的選択
- Authors: Myoungjun Kim, Sangwoo Park, Yoseob Han, Jin-Hyun Ahn,
- Abstract要約: LoRAを用いた大規模モデルの微分プライベートな微調整は、LoRAの乗法構造に起因する凝集誤差に悩まされる。
3つの軸で定義される適応的フレームワークAS-LoRAを提案する(レイヤワイド自由度、ラウンドワイド適応度、曲率認識スコア)。
理論的には、AS-LoRAは階層化されたスケジュールの再構築エラーフロアを排除し、収束を加速し、よりフラットなミニマへのソリューションを暗黙的にバイアスし、追加のプライバシーコストを発生させない。
- 参考スコア（独自算出の注目度）: 6.087223232267447
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Differentially private federated fine-tuning of large models with LoRA suffers from aggregation error caused by LoRA's multiplicative structure, which is further amplified by DP noise and degrades both stability and accuracy. Existing remedies apply a single update mode uniformly across all layers and all communication rounds (or alternate them on a fixed schedule), ignoring both the structural asymmetry between the two LoRA factors and the round-wise dynamics of training. We propose AS-LoRA, an adaptive framework defined by three axes (i) layer-wise freedom, in which each layer independently selects its active component, (ii) round-wise adaptivity, in which the selection updates over communication rounds, and (iii) a curvature-aware score derived from a second-order approximation of the loss. Theoretically, AS-LoRA eliminates the reconstruction-error floor of layer-tied schedules, accelerates convergence, implicitly biases solutions toward flatter minima, and incurs no additional privacy cost. Across GLUE, SQuAD, CIFAR-100, and Tiny-ImageNet under strict DP budgets and non-IID partitions, AS-LoRA improves over the federated LoRA baselines by up to $+7.5$ pp on GLUE and $+12.5$ pp on MNLI-mm for example, while matching or exceeding SVD-based aggregation methods at $33\text{--}180 \times$ lower aggregation cost and with negligible communication overhead. Code for the proposed method is available at https://anonymous.4open.science/r/as_lora-F75F/.
- Abstract（参考訳）: LoRAの乗算構造によって生じる凝集誤差に悩まされ、DPノイズによりさらに増幅され、安定性と精度の両方が低下する。
既存のリメディエーションでは、すべてのレイヤとすべての通信ラウンド(または固定スケジュールで置き換える)に一様に単一の更新モードを適用しており、2つのLoRA因子と訓練のラウンドワイドなダイナミックスの両方の構造的非対称性を無視している。
3つの軸で定義された適応型フレームワークAS-LoRAを提案する。
(i) 各層が独立してその活性成分を選択する層単位の自由。
(二)ラウンドワイド適応性であって、その選択が通信ラウンドに更新され、
三 損失を二階近似した曲率のスコア
理論的には、AS-LoRAは階層化されたスケジュールの再構築エラーフロアを排除し、収束を加速し、よりフラットなミニマへのソリューションを暗黙的にバイアスし、追加のプライバシーコストを発生させない。
厳格なDP予算と非IIDパーティションの下では、GLUE、SQuAD、CIFAR-100、Tiny-ImageNet全体において、AS-LoRAは、GLUEで最大$+7.5$ pp、MNLI-mmで$+12.5$ pp、SVDベースのアグリゲーションメソッドを3,3\text{--}180 \times$低いアグリゲーションコストと無視可能な通信オーバーヘッドでマッチングまたは超過しながら、フェデレートされたLoRAベースラインを改善している。
提案手法のコードはhttps://anonymous.4open.science/r/as_lora-F75F/で公開されている。
関連論文リスト
- Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models [14.755143405057929]
差分プライベートラーニング(DPFL)の下での微調整大型ビジョンモデル(LVM)と大規模言語モデル(LLM)は、基本的なプライバシーとユーティリティのトレードオフによって妨げられる。
Low-Rank Adaptation (LoRA)はPEFT法であり、トレーニング可能な2つの低ランク行列を導入し、事前訓練した重みを凍結することにより、計算と通信のコストを削減する。
LA-LoRAは、勾配の相互作用を分離し、クライアント間で更新方向を調整し、厳密なプライバシー制約の下で堅牢性を高める新しいアプローチである。
論文 参考訳（メタデータ） (2026-02-23T15:05:28Z) - Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文 参考訳（メタデータ） (2025-09-24T10:32:50Z) - FediLoRA: Heterogeneous LoRA for Federated Multimodal Fine-tuning under Missing Modalities [9.507134068207597]
FediLoRAは、不均一なLoRAランクと欠落したモダリティの下で、連邦化されたマルチモーダル微調整のためのフレームワークである。
グローバルな設定とパーソナライズされた設定の両方において、競争上のベースラインよりも優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-09-01T10:40:13Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳（メタデータ） (2025-05-19T07:32:56Z) - Resource-Efficient Federated Fine-Tuning Large Language Models for Heterogeneous Data [16.844142562389443]
フェデレートラーニング(Federated Learning)、すなわちフェデレーションラーニング(FedLLM)を通じて、さまざまな下流アプリケーションにLLMをプライバシ保護方式で適応させるための微調整大型言語モデル(LLM)が提案されている。
資源制約装置の微調整コストを低減するため、FedLLMにローランク適応(LoRA)を統合することにより、モデルパラメータの小さなサブセットのみを微調整することを提案した。
本稿では、これらの課題に対処するため、階層的なFedLoRAフレームワークであるHierFedLoRAを提案する。
論文 参考訳（メタデータ） (2025-03-27T07:05:22Z) - Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。
LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。
LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
論文 参考訳（メタデータ） (2025-02-20T18:37:32Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - Adaptive Parameter-Efficient Federated Fine-Tuning on Heterogeneous Devices [24.725928966071212]
Federated Fine-tuning (FedFT) は、事前訓練された言語モデルを分散的に微調整するために提案されている。
LEGENDと呼ばれる新しいLoRAベースのFedFTフレームワークを提案する。
我々は,LoRA深度とランク分布の結合関係を解析し,不均一デバイスに対する効率的なLoRA構成アルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-12-28T04:00:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。