論文の概要: Tunable Soft Prompts are Messengers in Federated Learning

• arxiv url: http://arxiv.org/abs/2311.06805v1
• Date: Sun, 12 Nov 2023 11:01:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 16:57:55.165573
• Title: Tunable Soft Prompts are Messengers in Federated Learning
• Title（参考訳）: Tunable Soft Promptsはフェデレーションラーニングのメッセンジャー
• Authors: Chenhe Dong, Yuexiang Xie, Bolin Ding, Ying Shen, Yaliang Li
• Abstract要約: フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 55.924749085481544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) enables multiple participants to collaboratively train machine learning models using decentralized data sources, alleviating privacy concerns that arise from directly sharing local data. However, the lack of model privacy protection in FL becomes an unneglectable challenge, especially when people want to federally finetune models based on a proprietary large language model. In this study, we propose a novel FL training approach that accomplishes information exchange among participants via tunable soft prompts. These soft prompts, updated and transmitted between the server and clients, assume the role of the global model parameters and serve as messengers to deliver useful knowledge from the local data and global model. As the global model itself is not required to be shared and the local training is conducted based on an auxiliary model with fewer parameters than the global model, the proposed approach provides protection for the global model while reducing communication and computation costs in FL. Extensive experiments show the effectiveness of the proposed approach compared to several baselines. We have released the source code at \url{https://github.com/alibaba/FederatedScope/tree/fedsp/federatedscope/nlp/fedsp}.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 しかしながら、flにおけるモデルプライバシ保護の欠如は、特にプロプライエタリな大型言語モデルに基づいたモデルを連邦的に微調整したい場合、無視できない課題となっている。 本研究では,調整可能なソフトプロンプトによって参加者間の情報交換を実現する新しいflトレーニング手法を提案する。 これらのソフトプロンプトはサーバとクライアントの間で更新され送信され、グローバルモデルパラメータの役割を担い、ローカルデータとグローバルモデルから有用な知識を提供するメッセンジャーとして機能する。 グローバルモデル自体の共有を必要とせず,グローバルモデルよりも少ないパラメータを持つ補助モデルに基づいてローカルトレーニングを行うため,提案手法は,FLにおける通信や計算コストを低減しつつ,グローバルモデルを保護する。 広範な実験により,提案手法の有効性が複数のベースラインと比較された。 ソースコードは \url{https://github.com/alibaba/FederatedScope/tree/fedsp/federatedscope/nlp/fedsp} で公開しました。

関連論文リスト

• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
  クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。 近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。 地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T00:07:29Z)
• Personalized Federated Learning with Hidden Information on Personalized Prior [18.8426865970643]
  本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。 実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-11-19T12:45:19Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Turning Federated Learning Systems Into Covert Channels [3.7168491743915646]
  フェデレーション・ラーニング(FL)は、エッジクライアント間でモデルトレーニングを分散することで、従来の集中型機械学習を越えている。 本稿では,ステルス通信インフラを実装するために,FLシステムを隠蔽チャネルにすることを目的とした,新たな攻撃モデルを提案する。
  論文  参考訳（メタデータ） (2021-04-21T14:32:03Z)
• WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
  データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。 本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
  論文  参考訳（メタデータ） (2020-08-13T04:26:31Z)
• Federated Learning With Quantized Global Model Updates [84.55126371346452]
  モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。 本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-18T16:55:20Z)
• Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
  フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。 一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。 本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-05-26T12:27:31Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。