論文の概要: Privately Customizing Prefinetuning to Better Match User Data in Federated Learning

• arxiv url: http://arxiv.org/abs/2302.09042v1
• Date: Fri, 17 Feb 2023 18:18:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-20 13:48:06.989368
• Title: Privately Customizing Prefinetuning to Better Match User Data in Federated Learning
• Title（参考訳）: フェデレーション学習におけるユーザデータの適合性を高めるために、事前調整をプライベートに行う
• Authors: Charlie Hou, Hongyuan Zhan, Akshat Shrivastava, Sid Wang, Sasha Livshits, Giulia Fanti, Daniel Lazar
• Abstract要約: Federated Learning (FL)では、プライベートクライアントデータにアクセスすると、通信とプライバシコストが発生する。 本稿では,FreD(Federated Private Fr'echet Distance)を提案する。 FreDが最小限のプライバシーコストで最適な事前調整データセットを正確に予測できることを実証的に示す。
• 参考スコア（独自算出の注目度）: 3.645000701985685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Federated Learning (FL), accessing private client data incurs communication and privacy costs. As a result, FL deployments commonly prefinetune pretrained foundation models on a (large, possibly public) dataset that is held by the central server; they then FL-finetune the model on a private, federated dataset held by clients. Evaluating prefinetuning dataset quality reliably and privately is therefore of high importance. To this end, we propose FreD (Federated Private Fr\'echet Distance) -- a privately computed distance between a prefinetuning dataset and federated datasets. Intuitively, it privately computes and compares a Fr\'echet distance between embeddings generated by a large language model on both the central (public) dataset and the federated private client data. To make this computation privacy-preserving, we use distributed, differentially-private mean and covariance estimators. We show empirically that FreD accurately predicts the best prefinetuning dataset at minimal privacy cost. Altogether, using FreD we demonstrate a proof-of-concept for a new approach in private FL training: (1) customize a prefinetuning dataset to better match user data (2) prefinetune (3) perform FL-finetuning.
• Abstract（参考訳）: Federated Learning (FL)では、プライベートクライアントデータにアクセスすると、通信とプライバシコストが発生する。 その結果、FLデプロイメントは通常、中央サーバが保持する(大きな、おそらくはパブリックな)データセット上で事前訓練された基礎モデルに基づいて、FL-finetuneをクライアントが保持するプライベートなフェデレーションデータセット上でモデルに配置する。 そのため、プレファクチュニングデータセットの品質を確実かつプライベートに評価することが重要である。 そこで本研究では,federated private fr\'echet distance(federated private fr\'echet distance)を提案する。 直感的には、中央(パブリック)データセットと連合したプライベートクライアントデータの両方で、大きな言語モデルによって生成される埋め込み間のfr\'echet距離を計算し、比較する。 この計算をプライバシの保存にするために、分散した差分プライベート平均と共分散推定器を使用します。 FreDは最小限のプライバシーコストで最適な事前調整データセットを正確に予測する。 総じて、fredを使用して、プライベートflトレーニングにおける新しいアプローチのための概念実証を実証する: (1) ユーザデータにマッチするように事前調整データセットをカスタマイズ (2) 事前設定(3) fl指定を実行する。

関連論文リスト

• Federated Learning Empowered by Generative Content [55.576885852501775]
  フェデレートラーニング(FL)は、プライバシ保護方法でモデルのトレーニングに分散プライベートデータを活用可能にする。 本稿では,FedGCと呼ばれる新しいFLフレームワークを提案する。 我々は、さまざまなベースライン、データセット、シナリオ、モダリティをカバーする、FedGCに関する体系的な実証的研究を行う。
  論文  参考訳（メタデータ） (2023-12-10T07:38:56Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• Differentially Private Vertical Federated Clustering [13.27934054846057]
  多くのアプリケーションでは、複数のパーティが同じユーザのセットに関するプライベートデータを持っているが、非結合な属性のセットについてである。 データ対象者のプライバシーを保護しながらモデル学習を可能にするためには、垂直連合学習(VFL)技術が必要である。 本論文で提案するアルゴリズムは, 個人用垂直結合型K平均クラスタリングのための最初の実用的な解法である。
  論文  参考訳（メタデータ） (2022-08-02T19:23:48Z)
• Federated Learning in Non-IID Settings Aided by Differentially Private Synthetic Data [20.757477553095637]
  Federated Learning(FL)は、クライアントが機械学習モデルを協調的にトレーニングすることを可能にする、プライバシプロモーティングフレームワークである。 連合学習における大きな課題は、局所データが不均一であるときに生じる。 我々は、クライアントが変動自動エンコーダをデプロイして、遅延データ表現の微分プライベートな手段を用いて、ローカルデータセットを合成するFLアルゴリズムであるFedDPMSを提案する。
  論文  参考訳（メタデータ） (2022-06-01T18:00:48Z)
• Mixed Differential Privacy in Computer Vision [133.68363478737058]
  AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。 プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
  論文  参考訳（メタデータ） (2022-03-22T06:15:43Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Understanding Clipping for Federated Learning: Convergence and Client-Level Differential Privacy [67.4471689755097]
  本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。 本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
  論文  参考訳（メタデータ） (2021-06-25T14:47:19Z)
• PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization [6.66389628571674]
  フェデレートラーニング(FL)は、プライバシを改善した分散機械学習パラダイムとして普及している。 本稿では,より優れたパーソナライズ結果を得るために,訓練されたモデルをフェデレーション方式で適応させることを目的とした,フェデレーション適応と呼ばれる新しい概念を提案する。 PFA(Privacy-preserving Federated Adaptation)を実現するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-02T08:07:34Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)
• Generating private data with user customization [9.415164800448853]
  モバイルデバイスは大量のデータを生成、保存し、機械学習モデルを強化することができる。 しかし、このデータには、データのリリースを防止するデータ所有者特有のプライベート情報が含まれている可能性がある。 有用な情報を保持しつつ、ユーザ固有のプライベート情報とデータとの相関を小さくしたい。
  論文  参考訳（メタデータ） (2020-12-02T19:13:58Z)
• Prioritized Multi-Criteria Federated Learning [16.35440946424973]
  マシンラーニングのシナリオでは、モデルがサービスのユーザから来るプライベートデータでトレーニングされる必要がある場合、プライバシが重要な問題になります。 我々は,多数のクライアントに分散したプライベートデータセットに基づくMLモデルを構築する手段として,フェデレートラーニング(FL)を提案する。 中央コーディネートサーバは、クライアントによってローカルに計算された更新を受け取り、それらを集約してより良いグローバルモデルを得る。
  論文  参考訳（メタデータ） (2020-07-17T10:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。