論文の概要: FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection
- arxiv url: http://arxiv.org/abs/2610.01620v1
- Date: Thu, 01 Oct 2026 12:56:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.138713
- Title: FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection
- Title（参考訳）: FedLore: 共有Gradient Low-Rankプロジェクションによるコミュニケーションとメモリ効率の高いフェデレーションラーニング
- Abstract要約: textttFedreは各ラウンドで低ランクの最適化ベースを共有し、ラウンド毎に更新する。
サブスペースリフレッシュにより、蓄積されたモデル更新は、ラウンド単位の予算を超えることができる。
事前トレーニングを含むビジョンと言語タスクの実験は、textttFedreが評価された低ランクアダプタベースラインよりも優れていることを示している。
- 参考スコア（独自算出の注目度）: 0.42303492200814446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated training of foundation models is constrained by client memory and communication costs. LoRA-based methods reduce these costs through low-rank adapters, but their fixed rank budget can limit adaptation. Gradient low-rank optimization offers greater flexibility, yet independently chosen client subspaces create a problem we term \emph{subspace fragmentation}: local projections interact with data heterogeneity to bias aggregated directions, while aggregation can increase update rank and communication cost. Thus, accurate local gradient compression need not preserve global descent. We propose \texttt{FedLore}, which shares a low-rank optimization basis within each round and refreshes it across rounds. The shared basis enables exact aggregation in low-rank coordinates and eliminates the identified projection bias. Subspace refresh allows the accumulated model update to exceed the per-round rank budget. We characterize the aggregation bias and establish an $O(T^{-1/2})$ stationarity bound for the projected-SGD variant under a global-gradient coverage condition and standard smoothness and variance assumptions, with bounded gradient heterogeneity. Experiments on vision and language tasks, including federated pre-training, show that \texttt{FedLore} outperforms the evaluated low-rank adapter baselines and matches or exceeds full-parameter training, while reducing communication and optimizer-state memory.
- Abstract（参考訳）: ファンデーションモデルのフェデレーショントレーニングは、クライアントメモリと通信コストによって制約される。
LoRAベースの手法は、これらのコストをローランクアダプタによって削減するが、それらの固定ランクの予算は適応を制限することができる。
グラディエントな低ランク最適化により柔軟性が向上するが、独立に選択されたクライアントサブスペースは、ローカルプロジェクションがデータヘテロジニティと相互作用し、アグリゲーションは更新ランクと通信コストを増大させる。
したがって、正確な局所勾配圧縮は、大域的な降下を保存する必要はない。
本稿では,各ラウンド内で低ランク最適化ベースを共有し,ラウンド毎にリフレッシュする‘texttt{FedLore}’を提案する。
共有基底は、低ランク座標の正確な集約を可能にし、同定された投影バイアスを除去する。
サブスペースリフレッシュにより、蓄積されたモデル更新は、ラウンド単位の予算を超えることができる。
集約バイアスを特徴付け、大域的漸次被覆条件下での射影-SGD不変量に対する$O(T^{-1/2})$定常性と、有界勾配不均一性を持つ標準滑らか性および分散仮定を確立する。
フェデレートされた事前トレーニングを含むビジョンと言語タスクの実験では、‘texttt{FedLore} は評価された低ランクアダプタベースラインを上回り、通信とオプティマイザステートメモリの削減を図りながら、フルパラメータトレーニングにマッチするか、あるいは超えている。
関連論文リスト
- FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection [5.476264433576713]
FedSLoPは効率的なフェデレート学習アルゴリズムである。
We show that FedSLoP converges to a first-order stationary point at a rate of $O (1/sqrNT)$。
論文 参考訳（メタデータ） (2026-04-27T03:47:50Z) - Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization [56.95448807869383]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習の魅力的なパラダイムとして登場した。
近年の研究では、FLシステムで交換される勾配もプライバシー漏洩に弱いことが報告されている。
我々は textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD) を提案する。
論文 参考訳（メタデータ） (2026-04-01T14:32:15Z) - FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。
Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。
既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
論文 参考訳（メタデータ） (2025-05-24T04:12:12Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Decentralized Sporadic Federated Learning: A Unified Algorithmic Framework with Convergence Guarantees [18.24213566328972]
分散学習計算(DFL)は、(i)モデル更新と(ii)モデルアグリゲーションの両方が中央サーバなしでクライアントによって実行されるFL設定をキャプチャする。
$textttDSpodFL$は、ローカルグラデーションとアグリゲーションプロセスの両方において、$textitsporadicity$という一般的な概念に基づいて構築されたDFL方法論である。
$textttDSpodFL$は、さまざまなシステム設定のベースラインと比較して、改善されたスピードを一貫して達成する。
論文 参考訳（メタデータ） (2024-02-05T19:02:19Z) - GIFD: A Generative Gradient Inversion Method with Feature Domain
Optimization [52.55628139825667]
Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。
近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。
textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
論文 参考訳（メタデータ） (2023-08-09T04:34:21Z) - FedSpeed: Larger Local Interval, Less Communication Round, and Higher
Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。
これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。
本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文 参考訳（メタデータ） (2023-02-21T03:55:29Z) - $\texttt{FedBC}$: Calibrating Global and Local Models via Federated
Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。
本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。
私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文 参考訳（メタデータ） (2022-06-22T02:42:04Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。