論文の概要: FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA

• arxiv url: http://arxiv.org/abs/2505.12805v1
• Date: Mon, 19 May 2025 07:32:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.467351
• Title: FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA
• Title（参考訳）: FedSVD: LoRAを用いたプライベートフェデレーション学習のための適応的直交化
• Authors: Seanie Lee, Sangwoo Park, Dong Bok Lee, Dominik Wagner, Haebin Seong, Tobias Bocklet, Juho Lee, Sung Ju Hwang,
• Abstract要約: 低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。 低ランク適応(LoRA)は、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く用いられている。
• 参考スコア（独自算出の注目度）: 61.79405341803085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA), which introduces a product of two trainable low-rank matrices into frozen pre-trained weights, is widely used for efficient fine-tuning of language models in federated learning (FL). However, when combined with differentially private stochastic gradient descent (DP-SGD), LoRA faces substantial noise amplification: DP-SGD perturbs per-sample gradients, and the matrix multiplication of the LoRA update ($BA$) intensifies this effect. Freezing one matrix (e.g., $A$) reduces the noise but restricts model expressiveness, often resulting in suboptimal adaptation. To address this, we propose FedSVD, a simple yet effective method that introduces a global reparameterization based on singular value decomposition (SVD). In our approach, each client optimizes only the $B$ matrix and transmits it to the server. The server aggregates the $B$ matrices, computes the product $BA$ using the previous $A$, and refactorizes the result via SVD. This yields a new adaptive $A$ composed of the orthonormal right singular vectors of $BA$, and an updated $B$ containing the remaining SVD components. This reparameterization avoids quadratic noise amplification, while allowing $A$ to better capture the principal directions of the aggregate updates. Moreover, the orthonormal structure of $A$ bounds the gradient norms of $B$ and preserves more signal under DP-SGD, as confirmed by our theoretical analysis. As a result, FedSVD consistently improves stability and performance across a variety of privacy settings and benchmarks, outperforming relevant baselines under both private and non-private regimes.
• Abstract（参考訳）: 低ランク適応(LoRA)は、2つのトレーニング可能な低ランク行列の積を凍結事前学習重量に導入し、フェデレートラーニング(FL)における言語モデルの効率的な微調整に広く利用されている。 DP-SGDパーターブ(perturbs perturbs per-sample gradient, DP-SGD perturbs perturbs per-sample gradient, DP-SGD perturbs perturbs per-sample gradient, DP-SGD perturbs DP-SGD perturbs DP-SGD perturbs DP-SGD perturbs DP-SGD perturbs DP-SGD perturbs DP-SGD perturbs per-sample gradients DP-SGD perturbs DP-SGD perturbs DP-SGD perturbs DP-SGD perturbs DP-SGD perturbs DP-sample gradients DP-SGD perturbs DP-BA$) と組み合わせると、 1つの行列(例えば$A$)を凍結することはノイズを減らすが、モデル表現性を制限し、しばしば準最適適応をもたらす。 これを解決するために,特異値分解(SVD)に基づく大域的再パラメータ化を導入する,シンプルで効果的なFedSVDを提案する。 このアプローチでは、各クライアントは$B$マトリックスのみを最適化し、サーバに送信します。 サーバは、B$行列を集約し、以前の$A$を使って製品$BA$を計算し、SVDを介して結果をリファクタリングする。 これにより、正規直交右特異ベクトルの$BA$と、残りのSVD成分を含む更新された$B$からなる新しい適応$A$が得られる。 この再パラメータ化は、2次ノイズ増幅を回避し、$A$でアグリゲート更新の主方向をよりよく捉えることができる。 さらに、A$ の正規正規構造は、B$ の勾配ノルムを束縛し、DP-SGD の下でより多くの信号を保存する。 その結果、FedSVDは、さまざまなプライバシ設定とベンチマークの安定性とパフォーマンスを一貫して改善し、プライベートと非プライベート両方の体制下で関連するベースラインを上回ります。

関連論文リスト

• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• PrivSGP-VR: Differentially Private Variance-Reduced Stochastic Gradient Push with Tight Utility Bounds [9.47030623916154]
  そこで本研究では,分散化による勾配プッシュを応用し,各ノードのプライバシを保証する,差分プライベートな分散学習手法(PrivSGPVR)を提案する。 この理論解析により, DP雑音下では, PrivGPS-VR は$mathcalO (1/sqrtnK)$のサブ線形収束速度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-05-04T11:22:53Z)
• Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
  既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。 本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。 従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
  論文  参考訳（メタデータ） (2024-05-02T03:48:47Z)
• PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models [23.890454137522774]
  主特異値と特異ベクトル適応(PiSSA)を導入する。 PiSSAはLoRAと同じアーキテクチャを共有しているが、アダプタ行列を$A$と$B$で初期化し、元の行列の主成分を$W$とし、残りのコンポーネントをmathbbRm times n$の残留行列に配置する。 LoRAと比較すると、PiSSAは主コンポーネントを更新し、"残留"部分を凍結することで、より高速な収束と性能の向上を実現している。
  論文  参考訳（メタデータ） (2024-04-03T15:06:43Z)
• Asymmetry in Low-Rank Adapters of Foundation Models [47.310550805920585]
  本稿では、低ランクアダプタ行列の重要性において、予期せぬ非対称性を特徴付け、活用する。 我々は、細調整の$B$が、細調整の$A$よりも本質的に効果的であることを示し、ランダムな未トレーニングの$A$は、細調整の$A$よりもほぼ同等に機能することを示します。
  論文  参考訳（メタデータ） (2024-02-26T18:59:12Z)
• Globally Convergent Accelerated Algorithms for Multilinear Sparse Logistic Regression with $\ell_0$-constraints [2.323238724742687]
  多重線形ロジスティック回帰は多次元データ解析の強力なツールである。 本稿では,$ell_0$-MLSRを解くために,アクセラレーションされた近位置換最小値MLSRモデルを提案する。 また、APALM$+$が一階臨界点に大域収束し、クルディ・ロジャシエヴィチ性質を用いて収束を確立することも示している。
  論文  参考訳（メタデータ） (2023-09-17T11:05:08Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• Private Stochastic Non-Convex Optimization: Adaptive Algorithms and Tighter Generalization Bounds [72.63031036770425]
  有界非次元最適化のための差分プライベート(DP)アルゴリズムを提案する。 標準勾配法に対する経験的優位性について,2つの一般的なディープラーニング手法を実証する。
  論文  参考訳（メタデータ） (2020-06-24T06:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。