論文の概要: Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures

• arxiv url: http://arxiv.org/abs/2411.19128v1
• Date: Thu, 28 Nov 2024 13:20:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:19:28.097420
• Title: Personalized Federated Fine-Tuning for LLMs via Data-Driven Heterogeneous Model Architectures
• Title（参考訳）: データ駆動不均一モデルアーキテクチャによるLLMの個人化ファインチューニング
• Authors: Yicheng Zhang, Zhen Qin, Zhaomin Wu, Shuiguang Deng,
• Abstract要約: 大規模言語モデルの性能を高めるためには,大量の指導用テキストデータが必要不可欠である。 FedAMoLEは軽量なパーソナライズされたファインチューニングフレームワークである。
• 参考スコア（独自算出の注目度）: 16.334964586540178
• License:
• Abstract: A large amount of instructional text data is essential to enhance the performance of pre-trained large language models (LLMs) for downstream tasks. This data can contain sensitive information and therefore cannot be shared in practice, resulting in data silos that limit the effectiveness of LLMs on various tasks. Federated learning (FL) enables collaborative fine-tuning across different clients without sharing their data. Nonetheless, in practice, this instructional text data is highly heterogeneous in both quantity and distribution across clients, necessitating distinct model structures to best accommodate the variations. However, existing federated fine-tuning approaches either enforce the same model structure or rely on predefined ad-hoc architectures unaware of data distribution, resulting in suboptimal performance. To address this challenge, we propose FedAMoLE, a lightweight personalized federated fine-tuning framework that leverages data-driven heterogeneous model architectures. FedAMoLE introduces the Adaptive Mixture of LoRA Experts (AMoLE) module, which facilitates model heterogeneity with minimal communication overhead by allocating varying numbers of LoRA-based domain experts to each client. Furthermore, we develop a reverse selection-based expert assignment (RSEA) strategy, which enables data-driven model architecture adjustment during fine-tuning by allowing domain experts to select clients that best align with their knowledge domains. Extensive experiments across six different scenarios of data heterogeneity demonstrate that FedAMoLE significantly outperforms existing methods for federated LLM fine-tuning, achieving superior accuracy while maintaining good scalability.
• Abstract（参考訳）: ダウンストリームタスクのための事前訓練された大規模言語モデル(LLM)の性能を高めるためには、大量の命令テキストデータが必要である。 このデータにはセンシティブな情報が含まれており、実際には共有できないため、様々なタスクにおけるLCMの有効性を制限するデータサイロが生まれる。 フェデレートラーニング(FL)は、データを共有せずに、異なるクライアント間で協調的な微調整を可能にする。 しかしながら、実際には、この命令文データは、クライアント間での量と分布の両方において非常に均一であり、変動に最も適するように、異なるモデル構造を必要とする。 しかし、既存のフェデレートされた微調整アプローチは、同じモデル構造を強制するか、あるいはデータ分布に気付かない事前定義されたアドホックアーキテクチャに依存し、最適以下の性能をもたらす。 この課題に対処するために,データ駆動ヘテロジニアスモデルアーキテクチャを活用する軽量なパーソナライズされたファインチューニングフレームワークであるFedAMoLEを提案する。 FedAMoLEは、LoRAエキスパートの適応混合(Adaptive Mixture of LoRA Experts, AMoLE)モジュールを導入している。 さらに、我々は、データ駆動型モデルアーキテクチャを微調整中に調整し、ドメインの専門家が自身の知識ドメインに最も適したクライアントを選択することを可能にするRSEA戦略を開発した。 データ不均一性の6つのシナリオにわたる大規模な実験により、FedAMoLEは、フェデレーションLLMファインチューニングの既存の手法よりも大幅に優れ、優れたスケーラビリティを維持しつつ、優れた精度を実現していることが示された。

関連論文リスト

• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [64.50893177169996]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルなヘテロジニアスシナリオにおけるMLLMのファインチューニングにおける様々なダウンストリームタスクを評価するためのベンチマークを提案する。 我々は,2つのモダリティに依存しない戦略とともに,4つの代表的FL手法を統合する汎用FedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• FedMoE: Personalized Federated Learning via Heterogeneous Mixture of Experts [4.412721048192925]
  我々は、データ不均一性に対処するための効率的パーソナライズされたFederated LearningフレームワークであるFedMoEを紹介する。 FedMoEは2つの微調整段階から構成されており、第1段階では、観測されたアクティベーションパターンに基づいて探索を行うことで問題を単純化する。 第2段階では、これらのサブモデルはさらなるトレーニングのためにクライアントに配布され、サーバ集約のために返される。
  論文  参考訳（メタデータ） (2024-08-21T03:16:12Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models [8.85591781936764]
  我々はCoDreamという新しいフレームワークを提案し、クライアントはランダムなデータを協調的に最適化する。 私たちの重要な洞察は、このデータを共同で最適化することで、グローバルなデータ分布の特性を効果的に捉えることができるということです。 モデルパラメータを共有しないにもかかわらず、標準的なFLタスクでCoDreamを実証的に検証し、競争性能を実証する。
  論文  参考訳（メタデータ） (2024-02-25T03:07:32Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Adaptive Expert Models for Personalization in Federated Learning [0.9449650062296824]
  フェデレートラーニング(FL)は、データがプライベートでセンシティブな場合、分散ラーニングのための有望なフレームワークである。 本研究では,不均質データや非IIDデータに適応するFLのパーソナライズへの実用的で堅牢なアプローチを提案する。 本研究は,病的非IID条件下での局所モデルと比較して,最大29.78 %,最大4.38 %の精度を実現していることを示す。
  論文  参考訳（メタデータ） (2022-06-15T22:05:36Z)
• Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。 既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。 本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2022-04-27T05:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。