Fugu-MT 論文翻訳(概要): On-device Collaborative Language Modeling via a Mixture of Generalists and Specialists

論文の概要: On-device Collaborative Language Modeling via a Mixture of Generalists and Specialists

arxiv url: http://arxiv.org/abs/2409.13931v1
Date: Tue, 1 Oct 2024 21:18:07 GMT
ステータス: 処理完了
システム内更新日: 2024-11-07 04:28:44.138224
Title: On-device Collaborative Language Modeling via a Mixture of Generalists and Specialists
Title（参考訳）: ジェネラリストとスペシャリストの混在によるオンデバイス協調言語モデリング
Authors: Dongyang Fan, Bettina Messmer, Martin Jaggi,
Abstract要約: 我々は、Mixture of Experts (MoE)アーキテクチャを適用することで、デバイス上での協調的なLLM(Large Language Models)の微調整を目標としている。我々は、$textbfG$eneralists と $textbfS$pecialists (CoMiGS) による $textbfMi$xture による新しい $textbfCo$llaborative Learning アプローチを提案する。
参考スコア（独自算出の注目度）: 33.68104398807581
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We target on-device collaborative fine-tuning of Large Language Models (LLMs) by adapting a Mixture of Experts (MoE) architecture, where experts are Low-Rank Adaptation (LoRA) modules. In conventional MoE approaches, experts develop into specialists throughout training. In contrast, we propose a novel $\textbf{Co}$llaborative learning approach via a $\textbf{Mi}$xture of $\textbf{G}$eneralists and $\textbf{S}$pecialists (CoMiGS). Diversifying into the two roles is achieved by aggregating certain experts globally while keeping others localized to specialize in user-specific datasets. Central to our work is a learnable routing network that routes at a token level, balancing collaboration and personalization at the finest granularity. Our method consistently demonstrates superior performance in scenarios with high data heterogeneity across various datasets. By design, our approach accommodates varying computational resource constraints among users as shown in different numbers of LoRA experts. We further showcase that low-resourced users can benefit from high-resourced users with high data quantity.
Abstract（参考訳）: 我々は,Low-Rank Adaptation (LoRA)モジュールであるMixture of Experts (MoE)アーキテクチャを適用することで,デバイス上での協調的なLLM(Large Language Models)の微調整を目標としている。従来のMoEアプローチでは、専門家はトレーニングを通じてスペシャリストに発展する。対照的に、$\textbf{Co}$llaborative learning approach via a $\textbf{Mi}$xture of $\textbf{G}$eneralists and $\textbf{S}$pecialists (CoMiGS)を提案する。この2つの役割の多様化は、特定の専門家をグローバルに集約し、他者をローカライズしてユーザ固有のデータセットに特化させることによって達成される。私たちの作業の中心は学習可能なルーティングネットワークで、トークンレベルでルーティングし、最も細かい粒度のコラボレーションとパーソナライゼーションのバランスを取ります。提案手法は,多種多様なデータセットにまたがる高データ不均一なシナリオにおいて,優れた性能を示す。提案手法は,LoRAの専門家の数によって異なるが,ユーザ間の計算資源の制約は様々である。さらに、低リソースのユーザは、高いデータ量で高リソースのユーザから恩恵を受けることができることを示す。

関連論文リスト

Personalized Federated Learning for Cross-view Geo-localization [49.40531019551957]
本稿では,フェデレート・ラーニング (FL) とクロスビュー・イメージ・ジオローカライゼーション (CVGL) 技術を組み合わせた方法論を提案する。提案手法では, クライアントが粗い特徴抽出器のみを共有しながら, 局所環境に特有のきめ細かな特徴を保持する, 粗い特徴抽出器を実装している。その結果,フェデレートCVGL法は,データプライバシを維持しつつ,集中的なトレーニングに近い性能を実現することができた。
論文参考訳（メタデータ） (2024-11-07T13:25:52Z)
Personalized Federated Collaborative Filtering: A Variational AutoEncoder Approach [49.63614966954833]
Federated Collaborative Filtering (FedCF)は、プライバシを保護する新しいレコメンデーションフレームワークの開発に焦点を当てた新興分野である。本稿では,ユーザのパーソナライズされた情報を潜在変数とニューラルモデルに同時に保存することで,新たなパーソナライズされたFedCF手法を提案する。提案フレームワークを効果的に学習するために,ユーザインタラクションベクトル再構成と欠落した値予測を統合することで,特殊変分オートエンコーダ(VAE)タスクとして問題をモデル化する。
論文参考訳（メタデータ） (2024-08-16T05:49:14Z)
Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文参考訳（メタデータ） (2023-07-05T11:58:58Z)
Personalized Federated Learning with Feature Alignment and Classifier Collaboration [13.320381377599245]
データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
論文参考訳（メタデータ） (2023-06-20T19:58:58Z)
FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文参考訳（メタデータ） (2023-06-14T15:47:52Z)
Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文参考訳（メタデータ） (2022-02-10T20:44:44Z)
Federated Mixture of Experts [94.25278695272874]
FedMixは特別なモデルのアンサンブルをトレーニングできるフレームワークです。類似したデータ特性を持つユーザが同じメンバーを選択して統計的強度を共有することを示す。
論文参考訳（メタデータ） (2021-07-14T14:15:24Z)
IFedAvg: Interpretable Data-Interoperability for Federated Learning [39.388223565330385]
本研究では,表型データに対するフェデレーション学習において,クライアントデータの不整合によって引き起こされる低相互運用性の定義と対処を行う。提案手法であるiFedAvgは、協調学習プロセスのパーソナライズされたきめ細かな理解を可能にするために、局所的な要素ワイドアフィン層を追加するフェデレーション平均化に基づいている。我々は、2014～2016年の西アフリカエボラ流行から得られた、いくつかの公開ベンチマークと実世界のデータセットを用いて、iFedAvgを評価し、世界でも最大規模のデータセットを共同で作成した。
論文参考訳（メタデータ） (2021-07-14T09:54:00Z)
Specialized federated learning using a mixture of experts [0.6974741712647655]
連合学習では、クライアントは分散化されたローカルクライアントデータに基づいてトレーニングされたグローバルモデルを共有する。フェデレートされた設定で各クライアントのパーソナライズされたモデルを学習するための代替手法を提案する。以上の結果から,これらの設定におけるデバイスに対するパーソナライズされたモデルとして,エキスパートモデルの混合が適していることが明らかとなった。
論文参考訳（メタデータ） (2020-10-05T14:43:57Z)
Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。