論文の概要: Personalized Collaborative Fine-Tuning for On-Device Large Language Models
- arxiv url: http://arxiv.org/abs/2404.09753v1
- Date: Mon, 15 Apr 2024 12:54:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 12:30:43.218779
- Title: Personalized Collaborative Fine-Tuning for On-Device Large Language Models
- Title(参考訳): オンデバイス大規模言語モデルのためのパーソナライズされた協調的微調整
- Authors: Nicolas Wagner, Dongyang Fan, Martin Jaggi,
- Abstract要約: ローカルデータ利用率に制限のある大規模言語モデルのデバイス上での自己教師型協調微調整について検討する。
本稿では,信頼度重み付き勾配集約方式として,重み類似度ベース,予測類似度ベース,検証性能ベースという3つの方法を紹介する。
予測および性能指標によって駆動される当社のプロトコルは、FedAvgと局所的な微調整手法の両方を超越している。
- 参考スコア(独自算出の注目度): 33.68104398807581
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We explore on-device self-supervised collaborative fine-tuning of large language models with limited local data availability. Taking inspiration from the collaborative learning community, we introduce three distinct trust-weighted gradient aggregation schemes: weight similarity-based, prediction similarity-based and validation performance-based. To minimize communication overhead, we integrate Low-Rank Adaptation (LoRA) and only exchange LoRA weight updates. Our protocols, driven by prediction and performance metrics, surpass both FedAvg and local fine-tuning methods, which is particularly evident in realistic scenarios with more diverse local data distributions. The results underscore the effectiveness of our approach in addressing heterogeneity and scarcity within local datasets.
- Abstract(参考訳): ローカルデータ利用率に制限のある大規模言語モデルのデバイス上での自己教師型協調微調整について検討する。
協調学習コミュニティからインスピレーションを得て、重量類似度に基づく3つの信頼重み付き勾配集約スキーム、予測類似度に基づく1つの予測類似度に基づく2つの検証性能ベースのスキームを導入する。
通信オーバーヘッドを最小限に抑えるため、LoRA (Lo-Rank Adaptation) を統合し、LoRAの重み更新のみを交換する。
我々のプロトコルは予測と性能の指標によって駆動され、FedAvgと局所的な微調整手法の両方を超越しており、より多様なローカルデータ分布を持つ現実的なシナリオでは特に顕著である。
その結果,局所的なデータセットにおける不均一性と不足に対処する手法の有効性が示された。
関連論文リスト
- Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
そこで我々は,テストタイムのパーソナライゼーション(test-time personalization)という新たな設定を提案し,対象とするローカルタスクに集中し,テストタイムの分散シフトを示すタスクに拡張する。
具体的には、グローバルアダプタとテスト時間分散シフトとパーソナライズに対処するローカルアダプタからなる、二重対人アダプタアーキテクチャ(FedDPA)を提案する。
提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
論文 参考訳(メタデータ) (2024-03-28T08:19:33Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - FedLPA: Personalized One-shot Federated Learning with Layer-Wise
Posterior Aggregation [7.406222956685339]
ローカルクライアントからグローバルモデルへのトレーニングされたニューラルネットワークのワンショットアグリゲーションは、研究者の間で人気を集めている。
我々はFedLPAという名前のレイヤーワイズ後アグリゲーションを用いたワンショットアグリゲーション手法を提案する。
以上の結果から,FedLPAは最先端の手法よりも学習性能を著しく向上させることがわかった。
論文 参考訳(メタデータ) (2023-09-30T10:51:27Z) - FedDisco: Federated Learning with Discrepancy-Aware Collaboration [41.828780724903744]
離散性を考慮した協調学習(FedDisco)による新しいアグリゲーション手法を提案する。
当社のFedDiscoはいくつかの最先端の手法より優れており、多くの既存手法に簡単に組み込んでパフォーマンスをさらに向上させることができる。
論文 参考訳(メタデータ) (2023-05-30T17:20:51Z) - FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
フェデレートラーニング(FL)は、分散モデルトレーニングにおいて重要なパラダイムとして登場した。
本稿では,局所的パラメータと平均的パラメータの分散を考慮した適応学習率反復アルゴリズムを提案する。
提案したアルゴリズムに対して堅牢な収束保証を提供し,その適用性を確保する。
論文 参考訳(メタデータ) (2023-03-28T08:07:28Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳(メタデータ) (2022-07-20T04:55:18Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳(メタデータ) (2022-02-07T05:11:01Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Clustered Federated Learning via Generalized Total Variation
Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。
我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。
私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文 参考訳(メタデータ) (2021-05-26T18:07:19Z) - Analysis and Optimal Edge Assignment For Hierarchical Federated Learning
on Non-IID Data [43.32085029569374]
フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。
参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。
ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
論文 参考訳(メタデータ) (2020-12-10T12:18:13Z) - Pairwise Similarity Knowledge Transfer for Weakly Supervised Object
Localization [53.99850033746663]
弱教師付き画像ラベルを持つ対象クラスにおける局所化モデル学習の問題点について検討する。
本研究では,対象関数のみの学習は知識伝達の弱い形態であると主張する。
COCOおよびILSVRC 2013検出データセットの実験では、ペアワイズ類似度関数を含むことにより、ローカライズモデルの性能が大幅に向上することが示された。
論文 参考訳(メタデータ) (2020-03-18T17:53:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。