論文の概要: FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2506.09199v1
• Date: Tue, 10 Jun 2025 19:36:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:01.989489
• Title: FLoRIST: Singular Value Thresholding for Efficient and Accurate Federated Fine-Tuning of Large Language Models
• Title（参考訳）: FLoRIST:大規模言語モデルの効率的かつ高精度なファインチューニングのための特異値閾値保持
• Authors: Hariharan Ramesh, Jyotikrishna Dass,
• Abstract要約: FLoRISTは、高い通信や計算オーバーヘッドを発生させることなく、数学的に正確なアグリゲーションを実現するファインチューニングフレームワークである。 サーバ側最適ランク選択のための可変特異値しきい値を導入し、全クライアントが共有するグローバルローランクアダプタのペアを構築する。
• 参考スコア（独自算出の注目度）: 2.555222031881788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Integrating Low-Rank Adaptation (LoRA) into federated learning offers a promising solution for parameter-efficient fine-tuning of Large Language Models (LLMs) without sharing local data. However, several methods designed for federated LoRA present significant challenges in balancing communication efficiency, model accuracy, and computational cost, particularly among heterogeneous clients. These methods either rely on simplistic averaging of local adapters, which introduces aggregation noise, require transmitting large stacked local adapters, leading to poor communication efficiency, or necessitate reconstructing memory-dense global weight-update matrix and performing computationally expensive decomposition to design client-specific low-rank adapters. In this work, we propose FLoRIST, a federated fine-tuning framework that achieves mathematically accurate aggregation without incurring high communication or computational overhead. Instead of constructing the full global weight-update matrix at the server, FLoRIST employs an efficient decomposition pipeline by performing singular value decomposition on stacked local adapters separately. This approach operates within a compact intermediate space to represent the accumulated information from local LoRAs. We introduce tunable singular value thresholding for server-side optimal rank selection to construct a pair of global low-rank adapters shared by all clients. Extensive empirical evaluations across multiple datasets and LLMs demonstrate that FLoRIST consistently strikes the best balance between superior communication efficiency and competitive performance in both homogeneous and heterogeneous setups.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA)をフェデレートラーニングに統合することで、ローカルデータを共有せずにLLM(Large Language Models)をパラメータ効率よく微調整できる、有望なソリューションを提供する。 しかし、フェデレートされたLoRAのために設計されたいくつかの手法は、通信効率、モデル精度、計算コストのバランスをとる上で、特に異種クライアントの間で大きな課題をもたらす。 これらの手法は、アグリゲーションノイズを導入し、大きなスタック化されたローカルアダプタを送信し、通信効率が悪くなるか、メモリ密度のグローバルな重み付け行列を再構築する必要があるか、クライアント固有の低ランクアダプタを設計するために計算コストのかかる分解を行う。 本研究では,FLoRISTを提案する。FLoRISTは,高い通信や計算オーバーヘッドを発生させることなく,数学的に正確なアグリゲーションを実現するファインチューニングフレームワークである。 サーバで全グローバルな重み付け行列を構築する代わりに、FLoRISTはスタック化されたローカルアダプタ上で特異値分解を別々に行うことで効率的な分解パイプラインを使用する。 このアプローチは、局所的なLoRAから蓄積された情報を表現するために、コンパクトな中間空間内で機能する。 サーバ側最適ランク選択のための可変特異値しきい値を導入し、全クライアントが共有するグローバルローランクアダプタのペアを構築する。 複数のデータセットとLLMにわたる広範囲な実験的な評価は、FLoRISTが均質な設定と不均一な設定の両方において、優れた通信効率と競争性能の最良のバランスを貫いていることを示している。

関連論文リスト

• AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption [3.805501490912696]
  フェデレートされた微調整は、分散データを使用して下流タスクにファンデーションモデルを適用するための有望なアプローチとして現れている。 大規模言語モデルのための適応的で軽量なファインチューニングフレームワークであるAFLoRAを提案する。
  論文  参考訳（メタデータ） (2025-05-30T16:35:32Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Modality Alignment Meets Federated Broadcasting [9.752555511824593]
  フェデレートラーニング(FL)は、ローカルデータを集中化せずに、分散エッジデバイス間でモデルをトレーニングすることで、データのプライバシを保護する強力なアプローチとして登場した。 本稿では,テキストエンコーダをサーバ上に配置し,画像エンコーダをローカルデバイス上で動作させる,モダリティアライメントを利用した新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-24T13:30:03Z)
• FedEx-LoRA: Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models [5.1613368481802455]
  Low-Rank Adaptation (LoRA) は基礎モデルの効率的な微調整技術として人気がある。 凍結重量行列に残留誤差項を追加するFederated Exact LoRA(FedEx-LoRA)を提案する。 提案手法は,LoRAの効率を保ちながら,計算と通信のオーバーヘッドを最小限に抑えた正確な更新を実現する。
  論文  参考訳（メタデータ） (2024-10-12T08:22:44Z)
• Ferret: Federated Full-Parameter Tuning at Scale for Large Language Models [54.02863371927658]
  大規模言語モデル(LLM)は多くの現実世界のアプリケーションで必須となっている。 Ferretは、LLMのスケーラブルなフルパラメータチューニングを実現するために、ランダム性を共有する最初の一階法である。 フェレットは高い計算効率、通信オーバーヘッドの低減、高速収束を実現する。
  論文  参考訳（メタデータ） (2024-09-10T07:28:13Z)
• Towards Federated Low-Rank Adaptation of Language Models with Rank Heterogeneity [12.515874333424929]
  クライアント間の不均一なランクが不安定なパフォーマンスにつながることを観察する。 この不安定性は従来のゼロ・パディング・アグリゲーション・ストラテジーに起因している。 高品質なデータを持つクライアントからの貴重な情報をよりよく保持するレプリケーションベースのパディング戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-25T11:49:33Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。