論文の概要: On-Device Collaborative Language Modeling via a Mixture of Generalists and Specialists

• arxiv url: http://arxiv.org/abs/2409.13931v3
• Date: Tue, 18 Feb 2025 16:27:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:04:22.189078
• Title: On-Device Collaborative Language Modeling via a Mixture of Generalists and Specialists
• Title（参考訳）: ジェネラリストとスペシャリストの混在によるオンデバイス協調言語モデリング
• Authors: Dongyang Fan, Bettina Messmer, Nikita Doikov, Martin Jaggi,
• Abstract要約: CoMiGSは、少ないデータでデバイス上でプライベートな学習を容易にする新しいアプローチである。 さまざまな専門家をローカライズしながら、ユーザ間でジェネラリストの専門家のバランスをとる。 トークン生成毎に,CoMiGSは一般的な知識とパーソナライズされた知識のバランスを効果的に表す。
• 参考スコア（独自算出の注目度）: 34.018740224268576
• License:
• Abstract: On-device LLMs have gained increasing attention for their ability to enhance privacy and provide a personalized user experience. To facilitate private learning with scarce data, Federated Learning has become a standard approach. However, it faces challenges such as computational resource heterogeneity and data heterogeneity among end users. We propose CoMiGS ($\textbf{Co}$llaborative learning with a $\textbf{Mi}$xture of $\textbf{G}$eneralists and $\textbf{S}$pecialists), the first approach to address both challenges. A key innovation of our method is the bi-level optimization formulation of the Mixture-of-Experts learning objective, where the router is optimized using a separate validation set to ensure alignment with the target distribution. We solve our objective with alternating minimization, for which we provide a theoretical analysis. Our method shares generalist experts across users while localizing a varying number of specialist experts, thereby adapting to users' computational resources and preserving privacy. Through extensive experiments, we show CoMiGS effectively balances general and personalized knowledge for each token generation. We demonstrate that CoMiGS remains robust against overfitting-due to the generalists' regularizing effect-while adapting to local data through specialist expertise. We open source our codebase for collaborative LLMs.
• Abstract（参考訳）: デバイス上でのLDMは、プライバシを強化し、パーソナライズされたユーザエクスペリエンスを提供する能力に対して、注目を集めている。 データが少ない私的な学習を容易にするために、フェデレートラーニングは標準的アプローチとなっている。 しかし、計算資源の不均一性やエンドユーザ間のデータの不均一性といった課題に直面している。 我々は,CoMiGS$\textbf{Co}$llaborative Learning with a $\textbf{Mi}$xture of $\textbf{G}$eneralists and $\textbf{S}$pecialistsという2つの課題に対処するための最初のアプローチを提案する。 提案手法の重要な革新は,Mixture-of-Experts学習目標の2レベル最適化の定式化である。 我々は最小化の交互化によって目的を解決し、理論的解析を行う。 提案手法は,多種多様な専門家をローカライズしながら,ユーザの計算資源に適応し,プライバシを保護しながら,ユーザ間でジェネラリスト専門家を共有する。 広範な実験を通じて,CoMiGSはトークン生成毎に,一般的な知識とパーソナライズされた知識を効果的にバランスさせることを示す。 我々は,CoMiGSが,専門的な専門知識を通じて局所データに適応する一般の正規化効果に対して,過度に適合する傾向にあることを実証した。 共同LLMのためのコードベースをオープンソースにしています。

関連論文リスト

• Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
  本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。 提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。 その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
  論文  参考訳（メタデータ） (2024-11-07T13:25:52Z)
• Personalized Federated Collaborative Filtering: A Variational AutoEncoder Approach [49.63614966954833]
  Federated Collaborative Filtering (FedCF)は、プライバシを保護する新しいレコメンデーションフレームワークの開発に焦点を当てた新興分野である。 既存のFedCFメソッドは通常、分散協調フィルタリング(CF)アルゴリズムとプライバシ保護メカニズムを組み合わせて、パーソナライズされた情報をユーザ埋め込みベクタに保存する。 本稿では,ユーザのパーソナライズされた情報を潜在変数とニューラルモデルに同時に保存することで,新たなパーソナライズされたFedCF手法を提案する。
  論文  参考訳（メタデータ） (2024-08-16T05:49:14Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
  FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。 我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。 我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Differentially Private Federated Learning on Heterogeneous Data [10.431137628048356]
  フェデレートラーニング(Federated Learning、FL)は、大規模分散ラーニングのパラダイムである。 i)高度に異質なユーザデータからの効率的なトレーニング、(ii)参加ユーザのプライバシ保護という2つの大きな課題に直面しています。 本稿では,差分プライバシー(DP)制約を取り入れた新しいFL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-17T18:23:49Z)
• Linear Speedup in Personalized Collaborative Learning [69.45124829480106]
  フェデレート学習におけるパーソナライゼーションは、モデルのバイアスをトレーディングすることで、モデルの精度を向上させることができる。 ユーザの目的の最適化として、パーソナライズされた協調学習問題を定式化する。 分散の低減のためにバイアスを最適にトレードオフできる条件について検討する。
  論文  参考訳（メタデータ） (2021-11-10T22:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。