論文の概要: FedFit: Federated Fine-Tuning of LLMs via Vector-Bank Parameterization and Quantization
- arxiv url: http://arxiv.org/abs/2610.01537v1
- Date: Thu, 01 Oct 2026 12:09:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.104031
- Title: FedFit: Federated Fine-Tuning of LLMs via Vector-Bank Parameterization and Quantization
- Title（参考訳）: FedFit: ベクトルバンクのパラメータ化と量子化によるLDMのファインチューニング
- Abstract要約: Federated Learning (FL)は、大規模言語モデル(LLM)のプライバシー保護のための微調整を可能にする
FLにおけるLow-Rank Adaptation (LoRA)の適用は、基本的な「集約ジレンマ」に直面している
- 参考スコア（独自算出の注目度）: 36.33645154707461
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Federated Learning (FL) enables privacy-preserving fine-tuning of Large Language Models (LLMs), yet the massive communication overhead remains a critical bottleneck. Furthermore, applying Low-Rank Adaptation (LoRA) in FL faces a fundamental "aggregation dilemma" between the accurate Sum-of-Products (SoP) and the communication-efficient Product-of-Sums (PoS) implementations. To tackle these challenges, we propose FedFit. First, to significantly reduce communication overhead, we introduce a disjoint shared vector-bank parameterization that reconstructs high-dimensional adapter matrices from two compact and disjoint global vector banks. Second, to address the aggregation dilemma, we devise an alternating optimization schedule. By cycling between decoupled single-bank updates (which allow for accurate aggregation) and joint updates corrected by a Residual Spectral Aggregation mechanism, we resolve the conflict between SoP and PoS. Additionally, we integrate blockwise quantization with client-side error feedback to further compress the transmitted vectors. Furthermore, we establish theoretical convergence guarantees for the proposed algorithm. Extensive experiments on Qwen2.5 models demonstrate that FedFit achieves perplexity performance comparable to standard federated LoRA methods, while providing compression ratios up to 100x higher.
- Abstract（参考訳）: Federated Learning(FL)は、Large Language Models(LLM)のプライバシー保護のための微調整を可能にする。
さらに、FL におけるローランド適応 (LoRA) の適用は、正確な Sum-of-Products (SoP) と通信効率の良いProduct-of-Sums (PoS) 実装の「集約ジレンマ」に直面している。
これらの課題に対処するため、我々はFedFitを提案する。
まず,2つのコンパクトな大域的ベクトルバンクから高次元のアダプタ行列を再構成する分散ベクトルバンクパラメータ化を導入する。
第2に、集約ジレンマに対処するため、交代最適化スケジュールを考案する。
分離された単一バンク更新(正確なアグリゲーションを可能にする)と残留スペクトル集約機構によって補正された共同更新をサイクリングすることにより、SoPとPoSの対立を解決する。
さらに,送信ベクトルをさらに圧縮するために,ブロックワイズ量子化とクライアント側のエラーフィードバックを統合する。
さらに,提案アルゴリズムの理論的収束保証を確立する。
Qwen2.5モデルに対する大規模な実験により、FedFitは標準のフェデレーションLoRA法に匹敵するパープレキシティ性能を達成し、圧縮比を最大100倍も高めることを示した。
関連論文リスト
- Compressed Proximal Federated Learning for Non-Convex Composite Optimization on Heterogeneous Data [12.4809003470908]
FCOは非平滑化器を扱う際に通信効率と堅牢性を達成する。
Fed Composite Error FeedbackCEFは非効率的な量子収束のための新しいアルゴリズムである。
非IIDデータからアグレッシブ化やノイズを緩和する。
論文 参考訳（メタデータ） (2026-03-08T14:37:16Z) - FedSGM: A Unified Framework for Constraint Aware, Bidirectionally Compressed, Multi-Step Federated Optimization [7.692336118507715]
我々はフェデレートされた制約付き最適化のための統合フレームワークであるFedSGMを紹介する。
FedSGMは、フェデレートラーニング(FL)における4つの大きな課題に対処している。
私たちの知る限り、FedSGMは機能的制約、圧縮、複数のローカルアップデート、部分的なクライアント参加を統一する最初のフレームワークです。
論文 参考訳（メタデータ） (2026-01-23T17:03:06Z) - PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。
PT$2$-LLMを提案する。
その中核は2段精製パイプラインを備えた非対称3次量子化器である。
論文 参考訳（メタデータ） (2025-09-27T03:01:48Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - Sequential Federated Learning in Hierarchical Architecture on Non-IID Datasets [25.010661914466354]
実連合学習(FL)システムでは、クライアントとパラメータ(PS)の間でモデルパラメータを渡す際の通信オーバーヘッドがボトルネックとなることが多い。
そこで本研究では,SFL(Sequence FL) HFLを初めて提案し,各サーバに隣接する2つのES間でデータを渡すことで,中央PSを除去し,モデルを完成させることを可能にする。
論文 参考訳（メタデータ） (2024-08-19T07:43:35Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T13:34:44Z) - DFedADMM: Dual Constraints Controlled Model Inconsistency for
Decentralized Federated Learning [52.83811558753284]
分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。
既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
論文 参考訳（メタデータ） (2023-08-16T11:22:36Z) - ScionFL: Efficient and Robust Secure Quantized Aggregation [36.668162197302365]
我々は,フェデレートラーニングのための最初のセキュアアグリゲーションフレームワークであるScionFLを紹介する。
量子化された入力で効率的に動作し、同時に悪意のあるクライアントに対して堅牢性を提供する。
クライアントのオーバーヘッドがなく、サーバのオーバーヘッドも緩やかなため、標準的なFLベンチマークに匹敵する精度が得られます。
論文 参考訳（メタデータ） (2022-10-13T21:46:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。