論文の概要: Personalized Collaborative Fine-Tuning for On-Device Large Language Models

• arxiv url: http://arxiv.org/abs/2404.09753v2
• Date: Tue, 6 Aug 2024 21:54:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-08 15:25:48.723828
• Title: Personalized Collaborative Fine-Tuning for On-Device Large Language Models
• Title（参考訳）: オンデバイス大規模言語モデルのためのパーソナライズされた協調的微調整
• Authors: Nicolas Wagner, Dongyang Fan, Martin Jaggi,
• Abstract要約: ローカルデータ利用率に制限のある大規模言語モデルのデバイス上での自己教師型協調微調整について検討する。 本稿では,信頼度重み付き勾配集約方式として,重み類似度ベース,予測類似度ベース,検証性能ベースという3つの方法を紹介する。 予測および性能指標によって駆動される当社のプロトコルは、FedAvgと局所的な微調整手法の両方を超越している。
• 参考スコア（独自算出の注目度）: 33.68104398807581
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore on-device self-supervised collaborative fine-tuning of large language models with limited local data availability. Taking inspiration from the collaborative learning community, we introduce three distinct trust-weighted gradient aggregation schemes: weight similarity-based, prediction similarity-based and validation performance-based. To minimize communication overhead, we integrate Low-Rank Adaptation (LoRA) and only exchange LoRA weight updates. Our protocols, driven by prediction and performance metrics, surpass both FedAvg and local fine-tuning methods, which is particularly evident in realistic scenarios with more diverse local data distributions. The results underscore the effectiveness of our approach in addressing heterogeneity and scarcity within local datasets.
• Abstract（参考訳）: ローカルデータ利用率に制限のある大規模言語モデルのデバイス上での自己教師型協調微調整について検討する。 協調学習コミュニティからインスピレーションを得て、重量類似度に基づく3つの信頼重み付き勾配集約スキーム、予測類似度に基づく1つの予測類似度に基づく2つの検証性能ベースのスキームを導入する。 通信オーバーヘッドを最小限に抑えるため、LoRA (Lo-Rank Adaptation) を統合し、LoRAの重み更新のみを交換する。 我々のプロトコルは予測と性能の指標によって駆動され、FedAvgと局所的な微調整手法の両方を超越しており、より多様なローカルデータ分布を持つ現実的なシナリオでは特に顕著である。 その結果,局所的なデータセットにおける不均一性と不足に対処する手法の有効性が示された。

関連論文リスト

• Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
  本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。 提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。 その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
  論文  参考訳（メタデータ） (2024-11-07T13:25:52Z)
• Reducing Spurious Correlation for Federated Domain Generalization [15.864230656989854]
  オープンワールドのシナリオでは、グローバルモデルは特定のメディアによってキャプチャされた全く新しいドメインデータをうまく予測するのに苦労する可能性がある。 既存の手法はまだこの問題に対処するために、サンプルとラベルの間の強い統計的相関に頼っている。 ローカルレベルとグローバルレベルでの全体的な最適化フレームワークであるFedCDを紹介します。
  論文  参考訳（メタデータ） (2024-07-27T05:06:31Z)
• Dual-Personalizing Adapter for Federated Foundation Models [35.863585349109385]
  そこで我々は,テストタイムのパーソナライゼーション(test-time personalization)という新たな設定を提案し,対象とするローカルタスクに集中し,テストタイムの分散シフトを示すタスクに拡張する。 具体的には、グローバルアダプタとテスト時間分散シフトとパーソナライズに対処するローカルアダプタからなる、二重対人アダプタアーキテクチャ(FedDPA)を提案する。 提案手法の有効性を,異なるNLPタスクのベンチマークデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2024-03-28T08:19:33Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedDisco: Federated Learning with Discrepancy-Aware Collaboration [41.828780724903744]
  離散性を考慮した協調学習(FedDisco)による新しいアグリゲーション手法を提案する。 当社のFedDiscoはいくつかの最先端の手法より優れており、多くの既存手法に簡単に組み込んでパフォーマンスをさらに向上させることができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:51Z)
• FedAgg: Adaptive Federated Learning with Aggregated Gradients [1.5653612447564105]
  我々はFedAggと呼ばれる適応型FEDerated Learningアルゴリズムを提案し、局所モデルパラメータと平均モデルパラメータのばらつきを緩和し、高速モデル収束率を得る。 IIDおよび非IIDデータセット下でのモデル性能の向上と収束速度の促進を目的として,本手法が既存のFL戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-28T08:07:28Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• Pairwise Similarity Knowledge Transfer for Weakly Supervised Object Localization [53.99850033746663]
  弱教師付き画像ラベルを持つ対象クラスにおける局所化モデル学習の問題点について検討する。 本研究では,対象関数のみの学習は知識伝達の弱い形態であると主張する。 COCOおよびILSVRC 2013検出データセットの実験では、ペアワイズ類似度関数を含むことにより、ローカライズモデルの性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-03-18T17:53:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。