Fugu-MT 論文翻訳(概要): RBLA: Rank-Based-LoRA-Aggregation for Fine-tuning Heterogeneous Models in FLaaS

論文の概要: RBLA: Rank-Based-LoRA-Aggregation for Fine-tuning Heterogeneous Models in FLaaS

arxiv url: http://arxiv.org/abs/2408.08699v2
Date: Fri, 27 Sep 2024 18:11:31 GMT
ステータス: 処理完了
システム内更新日: 2024-11-08 07:18:07.195577
Title: RBLA: Rank-Based-LoRA-Aggregation for Fine-tuning Heterogeneous Models in FLaaS
Title（参考訳）: RBLA:FLaaSにおける微調整不均一モデルのランクベースロラ集約
Authors: Shuaijun Chen, Omid Tavallaie, Niousha Nazemi, Albert Y. Zomaya,
Abstract要約: Low-Rank Adaptation (LoRA) はモデルのパラメータの低次元部分空間に着目してモデルを効率的に微調整する手法である。異なるランクのモデルを集約する現在の方法は、パディングウェイトを均一な形状にすることで、グローバルモデルの性能を低下させることができる。本稿では,フェデレート学習環境におけるアグリゲーションモデルの再形成に使用される現在のパディング手法の問題点を解析する。
参考スコア（独自算出の注目度）: 24.61534115484118
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated Learning (FL) is a promising privacy-aware distributed learning framework that can be deployed on various devices, such as mobile phones, desktops, and devices equipped with CPUs or GPUs. In the context of server-based Federated Learning as a Service (FLaaS), FL enables a central server to coordinate the training process across multiple devices without direct access to local data, thereby enhancing privacy and data security. Low-Rank Adaptation (LoRA) is a method that efficiently fine-tunes models by focusing on a low-dimensional subspace of the model's parameters. This approach significantly reduces computational and memory costs compared to fine-tuning all parameters from scratch. When integrated with FL, particularly in a FLaaS environment, LoRA allows for flexible and efficient deployment across diverse hardware with varying computational capabilities by adjusting the local model's rank. However, in LoRA-enabled FL, different clients may train models with varying ranks, which poses challenges for model aggregation on the server. Current methods for aggregating models of different ranks involve padding weights to a uniform shape, which can degrade the global model's performance. To address this issue, we propose Rank-Based LoRA Aggregation (RBLA), a novel model aggregation method designed for heterogeneous LoRA structures. RBLA preserves key features across models with different ranks. This paper analyzes the issues with current padding methods used to reshape models for aggregation in a FLaaS environment. Then, we introduce RBLA, a rank-based aggregation method that maintains both low-rank and high-rank features. Finally, we demonstrate the effectiveness of RBLA through comparative experiments with state-of-the-art methods.
Abstract（参考訳）: Federated Learning(FL)は、モバイルデバイスやデスクトップ、CPUやGPUを備えたデバイスなど、さまざまなデバイスにデプロイ可能な、プライバシーに配慮した分散型学習フレームワークである。サーバベースのフェデレートラーニング・アズ・ア・サービス(FLaaS)のコンテキストにおいて、FLは中央サーバがローカルデータに直接アクセスすることなく、複数のデバイス間でトレーニングプロセスを調整することを可能にする。 Low-Rank Adaptation (LoRA) は、モデルのパラメータの低次元部分空間に焦点をあてることで、効率的に微調整を行う手法である。このアプローチは、すべてのパラメータをスクラッチから微調整するのに比べて、計算とメモリのコストを大幅に削減する。 FLと統合された場合、特にFLaaS環境では、LoRAはローカルモデルのランクを調整することで様々な計算能力を持つ様々なハードウェアに柔軟で効率的なデプロイメントを可能にする。しかし、LoRA対応FLでは、異なるクライアントが様々なランクのモデルをトレーニングし、サーバ上でモデルアグリゲーションの課題を引き起こす可能性がある。異なるランクのモデルを集約する現在の方法は、パディングウェイトを均一な形状にすることで、グローバルモデルの性能を低下させることができる。この問題を解決するために,不均質なLoRA構造のための新しいモデル集約手法であるRange-Based LoRA Aggregation (RBLA)を提案する。 RBLAは、異なるランクのモデルにまたがる重要な特徴を保存している。本稿では,FLaaS環境におけるアグリゲーションモデルの再形成に使用される現在のパディング手法の問題点を解析する。 RBLAは,低ランクと高ランクの両特徴を両立するランクベースアグリゲーション手法である。最後に,最先端手法との比較実験により,RBLAの有効性を実証した。

関連論文リスト

LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [5.162783756846019]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文参考訳（メタデータ） (2024-11-22T14:19:01Z)
CopRA: A Progressive LoRA Training Strategy [9.847045610578073]
Low-Rank Adaptation (LoRA) は、微調整基礎モデルのためのパラメータ効率のよい手法である。本研究では,ランダム層降下を伴うLoRAの新しいプログレッシブトレーニング戦略を提案する。本手法を協調ロラ(CopRA)と呼ぶ。
論文参考訳（メタデータ） (2024-10-30T11:07:09Z)
FLoRA: Federated Fine-Tuning Large Language Models with Heterogeneous Low-Rank Adaptations [39.88985198467528]
ヘテロジニアスLoRAアダプタ上でのファインチューニングを可能にするFLORAと呼ばれる新しい手法を提案する。我々のアプローチはノイズフリーであり、ヘテロジニアスなLoRAアダプタをシームレスにサポートしています。
論文参考訳（メタデータ） (2024-09-09T18:21:23Z)
FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文参考訳（メタデータ） (2023-11-19T04:43:16Z)
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。 2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文参考訳（メタデータ） (2023-10-20T05:24:28Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文参考訳（メタデータ） (2022-06-21T17:23:06Z)
Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
論文参考訳（メタデータ） (2021-07-23T18:57:08Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)
Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文参考訳（メタデータ） (2020-06-12T14:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。