論文の概要: Leveraging Public Representations for Private Transfer Learning
- arxiv url: http://arxiv.org/abs/2312.15551v2
- Date: Tue, 16 Jan 2024 18:57:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 19:37:02.305547
- Title: Leveraging Public Representations for Private Transfer Learning
- Title(参考訳): プライベートトランスファー学習のための公開表現の活用
- Authors: Pratiksha Thaker, Amrith Setlur, Zhiwei Steven Wu, Virginia Smith
- Abstract要約: 公開データから学習した共有表現が、プライベートラーニングをどのように改善するかを検討する。
与えられた部分空間内の純粋に局所的な学習が同じ目的を達成するため、十分な公開データがあれば、ユーザーはプライベートなコーディネートを避けることができる。
- 参考スコア(独自算出の注目度): 44.30126328854419
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the recent empirical success of incorporating public data into
differentially private learning, we theoretically investigate how a shared
representation learned from public data can improve private learning. We
explore two common scenarios of transfer learning for linear regression, both
of which assume the public and private tasks (regression vectors) share a
low-rank subspace in a high-dimensional space. In the first single-task
transfer scenario, the goal is to learn a single model shared across all users,
each corresponding to a row in a dataset. We provide matching upper and lower
bounds showing that our algorithm achieves the optimal excess risk within a
natural class of algorithms that search for the linear model within the given
subspace estimate. In the second scenario of multitask model personalization,
we show that with sufficient public data, users can avoid private coordination,
as purely local learning within the given subspace achieves the same utility.
Taken together, our results help to characterize the benefits of public data
across common regimes of private transfer learning.
- Abstract(参考訳): 公的なデータを差分プライベート学習に取り入れた最近の実証的な成功により、公的なデータから学習した共有表現がプライベート学習をどのように改善するか理論的に検討した。
線形回帰のための転置学習の2つの一般的なシナリオについて検討し,公開タスクとプライベートタスク(回帰ベクトル)が高次元空間における低ランク部分空間を共有することを仮定した。
最初のシングルタスク転送シナリオでは、データセットの行に対応するすべてのユーザ間で共有される単一のモデルを学ぶことが目標だ。
提案手法は,与えられた部分空間推定内で線形モデルを探索する自然アルゴリズムのクラスにおいて,最適過剰リスクを達成することを示す上下界と下界のマッチングを提供する。
マルチタスクモデルパーソナライゼーションの第2のシナリオでは、各サブスペース内の純粋に局所学習が同じ目的を達成するため、十分な公開データがあれば、ユーザーはプライベートコーディネートを避けることができる。
本研究の結果は,私的移動学習の共通体制における公共データのメリットを特徴づける上で有効である。
関連論文リスト
- Differentially Private Model-Based Offline Reinforcement Learning [51.1231068185106]
DP-MORLは差分プライバシーを保証するアルゴリズムである。
環境のプライベートモデルは、まずオフラインデータから学習される。
次に、モデルベースのポリシー最適化を使用して、プライベートモデルからポリシーを導出します。
論文 参考訳(メタデータ) (2024-02-08T10:05:11Z) - Locally Differentially Private Gradient Tracking for Distributed Online
Learning over Directed Graphs [2.1271873498506038]
本稿では,局所的に個人差分な勾配追跡に基づく分散オンライン学習アルゴリズムを提案する。
提案アルゴリズムは,厳密な局所差分プライバシーを確保しつつ,平均二乗を最適解に収束させることを証明した。
論文 参考訳(メタデータ) (2023-10-24T18:15:25Z) - Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。
これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。
独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-08-16T13:32:43Z) - PILLAR: How to make semi-private learning more effective [12.292092677396347]
Semi-Supervised Semi-Private (SP)学習では、学習者は公開されていないラベル付きデータとプライベートラベル付きデータの両方にアクセスすることができる。
そこで本研究では,実世界のデータセット上で効率よく動作可能な,プライベートラベル付きサンプルの複雑さを著しく低減する計算効率のよいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-06T18:45:05Z) - Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。
公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。
提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
論文 参考訳(メタデータ) (2023-05-20T07:55:58Z) - Differentially private partitioned variational inference [28.96767727430277]
複数のデバイスに分散している機密データから、プライバシ保護モデルを学ぶことは、ますます重要な問題である。
ベイズ分布に対する変分近似を学習するための最初の一般フレームワークである差分分割変分推論について述べる。
論文 参考訳(メタデータ) (2022-09-23T13:58:40Z) - Personalization Improves Privacy-Accuracy Tradeoffs in Federated
Optimization [57.98426940386627]
局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。
合成および実世界のデータセットに関する実験により理論的結果について述べる。
論文 参考訳(メタデータ) (2022-02-10T20:44:44Z) - Generalized One-Class Learning Using Pairs of Complementary Classifiers [41.64645294104883]
1クラス学習は、単一のクラスでのみアノテーションが利用できるデータにモデルを適合させる古典的な問題である。
本稿では,一級学習の新たな目的を探求し,これを一般化一級識別サブスペース(GODS)と呼ぶ。
論文 参考訳(メタデータ) (2021-06-24T18:52:05Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳(メタデータ) (2021-02-14T05:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。