Fugu-MT 論文翻訳(概要): Adaptive LoRA Experts Allocation and Selection for Federated Fine-Tuning

論文の概要: Adaptive LoRA Experts Allocation and Selection for Federated Fine-Tuning

arxiv url: http://arxiv.org/abs/2509.15087v1
Date: Thu, 18 Sep 2025 15:43:33 GMT
ステータス: 翻訳完了
システム内更新日: 2025-09-19 17:26:53.310091
Title: Adaptive LoRA Experts Allocation and Selection for Federated Fine-Tuning
Title（参考訳）: フェデレーションファインチューニングのためのアダプティブLoRAエキスパートの配置と選択
Authors: Lei Wang, Jieming Bian, Letian Zhang, Jie Xu,
Abstract要約: Federated Learning(FL)は、プライバシ保護ソリューションを提供するが、計算制約による課題に直面している。 Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整手法として登場した。我々は、ドメイン固有のLoRAエキスパートを割り当て、訓練するための表現類似性に基づいてクライアントを適応的にクラスタ化する新しいフレームワークであるFedLEASEを提案する。
参考スコア（独自算出の注目度）: 12.733972494875713
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have demonstrated impressive capabilities across various tasks, but fine-tuning them for domain-specific applications often requires substantial domain-specific data that may be distributed across multiple organizations. Federated Learning (FL) offers a privacy-preserving solution, but faces challenges with computational constraints when applied to LLMs. Low-Rank Adaptation (LoRA) has emerged as a parameter-efficient fine-tuning approach, though a single LoRA module often struggles with heterogeneous data across diverse domains. This paper addresses two critical challenges in federated LoRA fine-tuning: 1. determining the optimal number and allocation of LoRA experts across heterogeneous clients, and 2. enabling clients to selectively utilize these experts based on their specific data characteristics. We propose FedLEASE (Federated adaptive LoRA Expert Allocation and SElection), a novel framework that adaptively clusters clients based on representation similarity to allocate and train domain-specific LoRA experts. It also introduces an adaptive top-$M$ Mixture-of-Experts mechanism that allows each client to select the optimal number of utilized experts. Our extensive experiments on diverse benchmark datasets demonstrate that FedLEASE significantly outperforms existing federated fine-tuning approaches in heterogeneous client settings while maintaining communication efficiency.
Abstract（参考訳）: 大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示していますが、ドメイン固有のアプリケーションのためにそれらを微調整するには、複数の組織に分散する可能性のある、相当量のドメイン固有のデータが必要です。フェデレートラーニング(FL)は、プライバシ保護ソリューションを提供するが、LLMに適用した場合、計算上の制約を伴う課題に直面している。 Low-Rank Adaptation (LoRA) はパラメータ効率のよい微調整手法として登場したが、単一 LoRA モジュールは様々な領域にわたる異種データに悩まされることが多い。本稿では,連合LoRAファインチューニングにおける2つの重要な課題について述べる。 1 異種クライアントにおける LoRA 専門家の最適数及び配置の決定及び 2. クライアントは、特定のデータ特性に基づいて、これらの専門家を選択的に活用することができる。提案するFedLEASE(Federated Adaptive LoRA Expert Allocation and Selection)は,表現類似性に基づいてクライアントを適応的にクラスタリングし,ドメイン固有のLoRAエキスパートを割り当て,訓練する新しいフレームワークである。また、各クライアントが最適な専門家数を選択することができるアダプティブのトップ$M$mixture-of-Expertsメカニズムも導入している。多様なベンチマークデータセットに関する広範な実験により、FedLEASEは、通信効率を維持しながら、異種クライアント設定における既存のフェデレートされた微調整アプローチを著しく上回っていることが示された。

関連論文リスト

FediLoRA: Heterogeneous LoRA for Federated Multimodal Fine-tuning under Missing Modalities [9.507134068207597]
FediLoRAは、不均一なLoRAランクと欠落したモダリティの下で、連邦化されたマルチモーダル微調整のためのフレームワークである。グローバルな設定とパーソナライズされた設定の両方において、競争上のベースラインよりも優れたパフォーマンスを実現する。
論文参考訳（メタデータ） (2025-09-01T10:40:13Z)
Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文参考訳（メタデータ） (2025-01-17T04:00:50Z)
Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
論文参考訳（メタデータ） (2025-01-08T11:37:06Z)
Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。数発のステアライメントのための新しいフレームワークを提案する。
論文参考訳（メタデータ） (2024-12-18T16:14:59Z)
Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures [15.645254436094055]
Federated Learning (FL) は、生データにアクセスすることなく、大規模言語モデルの協調的な微調整を可能にする。データ駆動の異種モデルアーキテクチャを実現する軽量なパーソナライズFLフレームワークであるFedAMoLEを提案する。実験の結果、FedAMoLEはクライアントサイドのパフォーマンスを既存のアプローチと比べて平均5.14%改善している。
論文参考訳（メタデータ） (2024-11-28T13:20:38Z)
Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients [11.102441622530181]
メモリ効率の高いフェデレーションファインチューニングフレームワークであるFed-pilotを提案する。メモリ制約のあるクライアントは、LoRAモジュールのサブセットのみをローカルにトレーニングすることで、ローランド適応(LoRA)ベースの微調整に参加することができる。我々の知る限りでは、メモリ制約最適化を統合したFMのファインチューニングに関する最初の研究である。
論文参考訳（メタデータ） (2024-10-14T06:36:41Z)
Optimizing Cross-Client Domain Coverage for Federated Instruction Tuning of Large Language Models [87.49293964617128]
大規模言語モデル(LLM)のためのFedDIT(Federated Domain-specific instruction tuning)は、分散プライベートデータと限定データを用いて、特定のドメインの性能を向上させることを目的としている。データ不均一性ではなく、クロスクライアントなドメインカバレッジが重要な要素であることを実証的に証明します。我々は多様性指向のクライアントセンターの選択と検索に基づく拡張を通じて、このカバレッジを明示的に最大化するアルゴリズムであるFedDCAを紹介する。
論文参考訳（メタデータ） (2024-09-30T09:34:31Z)
Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
論文参考訳（メタデータ） (2024-08-07T04:20:28Z)
Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources [31.041608465716575]
大規模言語モデル(LLM)のパラメータ効率の高い微調整には、最近FL(Federated Learning)が適用されている。本研究では,LLMファインチューニングのための簡易かつ効果的なアグリゲーションスキームFlexLoRAを紹介する。
論文参考訳（メタデータ） (2024-02-18T08:32:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。